본문 바로가기

320x100
네트워크 엔지니어 환영의 기록 174

반응형
SAA-C03 기본 #16, Opensearch & EMR & Glue Amazon OpenSearch (ElasticSearch의 후속 서비스) 로그 분석, 실시간 애플리케이션 모니터링 등의 사례에 적용하기 위한 완전한 오픈 소스 검색 및 분석 엔진 데이터베이스의 기본키나 인덱스로만 데이터를 처리하는 DynamoDB와는 다르게 부분적으로 일치하는 필드를 포함 모든 필드 검색 기능 애플리케이션에서 검색 기능 제공 시 또는 다른 데이터베이스를 보완하는데 사용 서버리스가 아닌 인스턴스의 클러스터가 필요 SQL 지원이 아닌 자체처리 언어 Kinesis Data Firehose, AWS IoT, CloudWatch Logs, 사용자 지정 애플리케이션의 데이터 주입 Amazon EMR (Elastic MapReduce) AWS에서 빅데이터 작업을 위한 하둡 클러스터 생성에 사용되며 .. 2024. 1. 28.
SAA-C03 기본 #15, Athena & Redshift Athena Amazon S3 버킷에 저장된 데이터 분석에 사용하는 서버리스 쿼리 서비스 사용자가 S3 버킷에 데이터 로드하면 Athena 서비스를 사용해 데이터 이름 없이 처리하고 분석할 수 있음 CSV, JSON, ORC, Auro, Parquet 등 다양한 형식 지원 Amazon Quicksight 도구와 함께 사용하여 보고서와 대시보드 생성 Use cases : 임시 쿼리 수행. 비즈니스 인텔리전스 분석 및 보고, 로그 쿼리 및 분석 (VPC 흐름로그, 로드밸런서로그, Cloud Trail 추적 등) 성능 향상 Less scan 유형의 데이터 사용 : Apache Parquer 또는 ORC추천, Gthe(적재작업)는 CSV와 Parquet 간데이터 변환유용 데이터 압축 : bzip2. gzip, .. 2024. 1. 24.
SAA-C03 기본 #14, ECS & EKS Docker 응용프로그램 등을 프로세스 격리 기술을 활용해 컨테이너로 실행하고 관리하는 플랫폼 응용프로그램(앱 등)이 컨테이너에 패키징되면 어느 운영체제든지 같은 방식으로 실행됨 사용사례 : 마이크로 서비스 아키텍처, 온프레미스에서 클라우드로 앱 리프트 앤 시프트 등 Docker Repository : Docker Hub (퍼블릭 리포지토리), Amazon ECR (프라이빗 리포지토리), Amazo ECR Public Gallery (퍼블릭 리포지토리) Docker 시작 : 베이스 도커 이미치에 파일 추가 (Dockerfile 등)하여 구축하면 도커이미지가 생성되고, Push하여 Docker Repository (dockerhub, Amazon ECR)에 저장, Pull 하여 도커이미지 실행하면 컨테이너.. 2023. 12. 16.
SAA-C03 기본 #12, Kinesis & Amazon MQ Kinesis 실시간 스트리밍 데이터 수집 • 처리 • 분석 서비스 Kinesis Data Stream : 데이터 스트림 수집 • 처리 • 저장, 리전에 배포됨 샤드: 데이터 수집률이나 소비율 측면에서 스트림의 용량 결정 레코드: 파티션 키와 최대 1MB 크기의 데이터 블롭(Blob)으로 구성, 소비자에 전달될 시 Sequence No. 추가 구성 파티션 키가 같은 메시지들은 같은 샤드로 들어가게 되어 키를 기반으로 데이터 정렬 Kinesis Data Firehose: 데이터 스트림을 AWS 내부나 외부의 데이터 저장소로 전달(Queue) Kinesis Data Analytics : SQL 언어나 Apache Flink를 활용한 데이터 스트림 분석 Kinesis Video Streams : 비디오 스트림.. 2023. 12. 14.
SAA-C03 기본 #11, SQS & SNS Amazon SQS(Simple Queue Service) 마이크로 서비스, 분산 시스템 및 애플리케이션 등을 쉽게 분리할 수 있도록 대기열을 지원하는 메시징 큐(Queue) 서비스 하나 혹은 다수의 Producer - (Send messages) -> SQS queue - (Poll messages) -> 하나 혹은 다수의 Consumer 처리량 높음, 메시지 수 제한 없음, 메시지 보존기간(1분~14일), 낮은 지연시간, 중복 메시지 존재 가능성 염두 Cloudwatch 지표의 대기열 길이 (Approximate Number of Messages)를 이용하여 알람 설정하여 Auto Scaling Group의 스케일업 / 다운 가능 보안 : 암호화 (HTTPS API 이용), Access Control.. 2023. 12. 10.
SAA-C03 기본 #10, FSx & Storage Gateway & Datasync Amazon FSx 고성능 파일 시스템을 실행하는 완전 관리형 서비스 Lustre, Windows File server, NetApp ONTAP, OpenEFS 등의 파일 시스템 Lustre : Linuxt cluster, HPC/머신러닝 Windows File server : SMB/NTFS 프로토콜, AD 지원 NetApp ONTAP : NFS, iSCSI, SMB 호환, 오토스케일링, 복제와 스냅샷 지원 OpenEFS : NFS 호환, 성능↑, 스냅샷, 압축 지원 파일 시스템 배포 옵션 : 스크래치 파일 시스템, 영구 파일 시스템 스크래치 파일 시스템 : 임시 스토리지, 데이터 복제 X, 성능↑ 영구 파일 시스템 : 장기 스토리지, 동일 AZ 내 복제 Storage Gateway S3 데이터와 온프.. 2023. 12. 10.

티스토리툴바