본문 바로가기

네트워크 엔지니어 환영의 기록 188

반응형
[AWS]Gateway Load Balancer #4(Idle Timeout & Failover) Gateway Load Balancer의 Idle Timeout Gateway Load Balancer(이하 GWLB)의 Idle Timeout 값은 TCP 350초, 비 TCP(UDP 포함)의 값은 120초로 고정되어 있음 Idle Timeout : Connection(이하 커넥션)가 유휴 상태일 때, 커넥션이 유지되는 시간 이는 고정값으로 변경이 불가능함 GWLB의 고정된 Idle Timeout을 고려하여 부하분산 대상이 되는 Appliance(이하 어플라이언스)의 Idle Timeout 값을 결정해야 함 예를 들어 GWLB를 통해 방화벽 인스턴스(어플라이언스)의 부하분산을 실시할 경우, GWLB의 Idle Timeout값인 TCP 350초, 비 TCP 120초보다 낮게 잡는 것이 좋음 GWLB보다 .. 2024. 2. 4.
SAA-C03 기본 #17, Quicksight & Lake Formation Quicksight 서버리스 머신 러닝 기반 비즈니스 인텔리전스 서비스 대화형 대시보드 생성하고 소유한 데이터 소스와 연결하며 오토 스케일링 가능 사용사례 : 비즈니스 분석, 시각화 구현, 시각화된 정보를 통한 임시 분석 수행, 데이터 활용한 비즈니스 인사이트 획득 RDS, Aurora, Athena, Redshife, S3 뿐만 아니라 타사 데이터 소스(Salesforce, Jira...) 와 타사 데이터베이스(Teradata...) 등 통합 가능 SPICE 엔진 : 인 메모리 연산 엔진 (xlsx, csv, json, tsv 등의 데이터 소스를 가져와 수행) Lake Formation Data lake: 데이터 분석을 위해 모든 데이터를 한곳으로 모아주는 중앙 집중식 저장소 Data lake 생성을 .. 2024. 1. 30.
SAA-C03 기본 #16, Opensearch & EMR & Glue Amazon OpenSearch (ElasticSearch의 후속 서비스) 로그 분석, 실시간 애플리케이션 모니터링 등의 사례에 적용하기 위한 완전한 오픈 소스 검색 및 분석 엔진 데이터베이스의 기본키나 인덱스로만 데이터를 처리하는 DynamoDB와는 다르게 부분적으로 일치하는 필드를 포함 모든 필드 검색 기능 애플리케이션에서 검색 기능 제공 시 또는 다른 데이터베이스를 보완하는데 사용 서버리스가 아닌 인스턴스의 클러스터가 필요 SQL 지원이 아닌 자체처리 언어 Kinesis Data Firehose, AWS IoT, CloudWatch Logs, 사용자 지정 애플리케이션의 데이터 주입 Amazon EMR (Elastic MapReduce) AWS에서 빅데이터 작업을 위한 하둡 클러스터 생성에 사용되며 .. 2024. 1. 28.
SAA-C03 기본 #15, Athena & Redshift Athena Amazon S3 버킷에 저장된 데이터 분석에 사용하는 서버리스 쿼리 서비스 사용자가 S3 버킷에 데이터 로드하면 Athena 서비스를 사용해 데이터 이름 없이 처리하고 분석할 수 있음 CSV, JSON, ORC, Auro, Parquet 등 다양한 형식 지원 Amazon Quicksight 도구와 함께 사용하여 보고서와 대시보드 생성 Use cases : 임시 쿼리 수행. 비즈니스 인텔리전스 분석 및 보고, 로그 쿼리 및 분석 (VPC 흐름로그, 로드밸런서로그, Cloud Trail 추적 등) 성능 향상 Less scan 유형의 데이터 사용 : Apache Parquer 또는 ORC추천, Gthe(적재작업)는 CSV와 Parquet 간데이터 변환유용 데이터 압축 : bzip2. gzip, .. 2024. 1. 24.
SAA-C03 기본 #14, ECS & EKS Docker 응용프로그램 등을 프로세스 격리 기술을 활용해 컨테이너로 실행하고 관리하는 플랫폼 응용프로그램(앱 등)이 컨테이너에 패키징되면 어느 운영체제든지 같은 방식으로 실행됨 사용사례 : 마이크로 서비스 아키텍처, 온프레미스에서 클라우드로 앱 리프트 앤 시프트 등 Docker Repository : Docker Hub (퍼블릭 리포지토리), Amazon ECR (프라이빗 리포지토리), Amazo ECR Public Gallery (퍼블릭 리포지토리) Docker 시작 : 베이스 도커 이미치에 파일 추가 (Dockerfile 등)하여 구축하면 도커이미지가 생성되고, Push하여 Docker Repository (dockerhub, Amazon ECR)에 저장, Pull 하여 도커이미지 실행하면 컨테이너.. 2023. 12. 16.
SAA-C03 기본 #12, Kinesis & Amazon MQ Kinesis 실시간 스트리밍 데이터 수집 • 처리 • 분석 서비스 Kinesis Data Stream : 데이터 스트림 수집 • 처리 • 저장, 리전에 배포됨 샤드: 데이터 수집률이나 소비율 측면에서 스트림의 용량 결정 레코드: 파티션 키와 최대 1MB 크기의 데이터 블롭(Blob)으로 구성, 소비자에 전달될 시 Sequence No. 추가 구성 파티션 키가 같은 메시지들은 같은 샤드로 들어가게 되어 키를 기반으로 데이터 정렬 Kinesis Data Firehose: 데이터 스트림을 AWS 내부나 외부의 데이터 저장소로 전달(Queue) Kinesis Data Analytics : SQL 언어나 Apache Flink를 활용한 데이터 스트림 분석 Kinesis Video Streams : 비디오 스트림.. 2023. 12. 14.

티스토리툴바