SAA-C03 기본 #12, Kinesis & Amazon MQ

Kinesis

• 실시간 스트리밍 데이터 수집 • 처리 • 분석 서비스
• Kinesis Data Stream : 데이터 스트림 수집 • 처리 • 저장, 리전에 배포됨
  • 샤드: 데이터 수집률이나 소비율 측면에서 스트림의 용량 결정
  • 레코드: 파티션 키와 최대 1MB 크기의 데이터 블롭(Blob)으로 구성, 소비자에 전달될 시 Sequence No. 추가 구성
  • 파티션 키가 같은 메시지들은 같은 샤드로 들어가게 되어 키를 기반으로 데이터 정렬
• Kinesis Data Firehose: 데이터 스트림을 AWS 내부나 외부의 데이터 저장소로 전달(Queue)
• Kinesis Data Analytics : SQL 언어나 Apache Flink를 활용한 데이터 스트림 분석
• Kinesis Video Streams : 비디오 스트림 수집 • 처리 • 저장
• Producers : AWS SDK, Kinesis producer Library(KPL), Kinesis Agent
• Consumers : Kinesis client Library(KCL), AWS SDK, Lambda, Kinesis Data Firehose, Kinesis Data Analytics 활용
• VPC Endpoint를 이용하여 Kinesis에 인터넷을 거치지 않고 프라이빗 서브넷의 EC2 인스턴스에서 샤드로 접근할 수 있음
• Kinesis가 파티션 키를 해시하여 어느 샤드로 보낼지 결정하므로써 데이터 정렬
• 표준 Kinesis: 데이터를 무시하며 샤드당 2MB/s 속도 지원
• 팬아웃 Kinesis: 데이터를 푸시하며 샤드 하나에 소비자당 2MB/s 처리, 처리량 ↑
• Kanesis Data Analytics(데이터분석)
  
  • SQL 애플리케이션용
  • Apache Flink용: Java, Scala, SQL로 애플리케이션 작성하고 스트리밍 데이터 처리, 분석

 

Amazon MQ

• ActiveMQ용 관리형 메시지 브로커 서비스
• 온프레미스 기술인 RabbitMQ, ActiveMQ를 위한 관리형 메시지 브로커 서비스로 개방형 프로토콜 액세스 제공
• Amazon MQ는 무한 확장이 가능한 SQS나 SNS 처럼 확장성이 크진 않음