새로운 회사, 새로 만나는 AWS 서비스 탐방기

> 새로운 회사를 오고 이전 회사에서 안 쓰는 AWS 서비스들을 많이 사용하고 있다. 이에 이름만 알고 있었던 서비스들에 대해 어떤 서비스이고 어떤 역할을 하는지 간단하게 어떻게 사용하고 있는지 정리하고자 한다.

 

• Amazon Cognito
  • 유저 인증 관리 및 유저 정보를 관리해주는 서비스
    > 우리가 유저 Table을 만들고 관리할 필요가 없어짐
• Amazon Amplify (Cognito와 세트)
  • 쉽게 말하면 그냥 모든 개발회사가 만드는 로그인, 회원 가입과 같은 유저 관련 기능을 제공하는 서비스이다.
    > 백엔드 개발자가 따로 로그인 및 유저 관련 API를 개발할 필요가 없어짐
• Druid (쓰려고 했던 것) vs. Amazon Elasticsearch (쓰고 있는 것)
  • AWS elasticsearch는 처음 접하지만 익숙한 내용이긴하다.(이 전에는 AWS가 아닌 Kibana ElasticSearch를 썼을 뿐)
  • 그냥 대규모 데이터에 대한 검색 및 분석 엔진이라 알면 되고 데이터는 현재 회사 S3에 구축된 DataLake에서 Logstash를 통해 Elasticsearch로 전송되어 수집되고 있다. 
  • 원래 Druid를 사용하려 했으나 (실제로 AWS ES와 비교가 많이 되는 듯) API로 사용하기엔 ES가 좀 더 최적화되어있다 판단하여 ES를 사용하고 있다함 (+ Druid는 데이터 분석에 좀 더 초점이 맞춰져있으며 ES가 구글링 자료도 더 많음)
• Logstash
  • 데이터 처리 파이프라인으로 데이터를 수집하여 포맷팅(필요하다면)하여 원하는 대상에 전송하는 역할을 함 
    > 우린 S3의 DataLake에서 센서 데이터들을 모아 AWS ES로 쏴주고 있다.
  • 현재 문제 : ES에서 샤드 제한이 있는데 이러한 제한에 대해 정밀한 모니터링 기능은 구현되어 있지 않음. 그래서 샤딩이 초과되어 더 이상 저장할 수 없게 되면 Logstash에서도 ES에 저장할 수 없게 되고 ES에 의존
• Amazon IoT Core (+ Iot Delivery Stream)
  • 스마트팜 회사이기 때문에 15000평이 넘는 땅에 깔린 센서는 많고 해당 서비스를 통해 데이터가 들어온다.
    > 중간에 람다를 통해서 센서 데이터를 한번 포매팅한 뒤 S3, Data Lake에 넣어주고 있다.
• Amazon CDK
  • 지금까지 많이 개발하고 접했던 Lambda와 밀접한 서비스이다. CDK를 이용해 ECS나 람다를 구축하면 됨.
    이 전 회사에서는 도커파일 만들고 코드 짜기까지만 하고 서버 배포 쪽을 담당하지 않았다보니 이제서야 보임 
  • 이건 정리하다보니 좀 자세하게 파고 직접 내가 따로 해봐야할 것 같아 따로 포스팅을 할 예정 
  • 참고 링크 
    > https://cherrypick.co.kr/about-aws-cdk/
• Bastion Host
  
  • 이건 전회사에서도 사용을 하고 있었고 하는 법도 알고 있긴한디 그냥 복기할겸 써봄
    > 다시 세팅하려니깐 가물가물해서 터널링하고 하는데 바로 바로 못 하고 삽질 했어서 ㅎ 
  • 이건 그냥 AWS 서비스라기보단 방화벽 구조인데 EC2에 Bastion 역할을 할 인스턴스를 하나 더 생성하여 설정해준 뒤 pem키를 받아 이를 통해 ssh 터널링하여 연결, 사용하면 된다. 
  • 동시에 지금 회사는 AWS VPC를 사용 중인데 음 개발하다보면 ssh 터널링이 아닌 vpc를 통해 연결해서 하는게 편하다고는 하시는데 일단 이건 개발해보면서 그런 케이스에 부딪혀봐야 알 수 있을 듯 하다.
    > 이 전 회사에서는 bastion ssh 터널링을 통해 연결한 후에 개발 DB에 붙어서 postman을 통해 이슈 대응을 잘 했어서... 몰겠음 왜 그렇게 말씀하셨는지는 ㅎㅎ 
  • 참고 링크 : http://devstory.ibksplatform.com/2017/08/aws-bastion-host-ssh.html
• [번외] Amazon TimeStream