본문 바로가기

320x100
Athena 2

반응형
SAA-C03 기본 #15, Athena & Redshift Athena Amazon S3 버킷에 저장된 데이터 분석에 사용하는 서버리스 쿼리 서비스 사용자가 S3 버킷에 데이터 로드하면 Athena 서비스를 사용해 데이터 이름 없이 처리하고 분석할 수 있음 CSV, JSON, ORC, Auro, Parquet 등 다양한 형식 지원 Amazon Quicksight 도구와 함께 사용하여 보고서와 대시보드 생성 Use cases : 임시 쿼리 수행. 비즈니스 인텔리전스 분석 및 보고, 로그 쿼리 및 분석 (VPC 흐름로그, 로드밸런서로그, Cloud Trail 추적 등) 성능 향상 Less scan 유형의 데이터 사용 : Apache Parquer 또는 ORC추천, Gthe(적재작업)는 CSV와 Parquet 간데이터 변환유용 데이터 압축 : bzip2. gzip, .. 2024. 1. 24.
SAA-C03 핵심 #31, Redshift & Athena 필요 개념 Data Warehouse(DW) : 하나의 통합된 데이터 저장공간으로서 다양한 운영 환경의 시스템들로부터 데이터를 추출, 변환, 통합해서 요약한 데이터베이스 데이터베이스가 데이터는 잘 저장하나, 저장된 데이터들을 제대로 활용하지 못 하는 것에서 착안 기본적으로 관계형 데이터베이스가 있는 상태를 가정하여 DW를 구성하며 동영상이나 음악처럼 DB에 저장할 수 없는 파일도 필요한 부분을 추출하여 보여주어야 함 ETL(Extract, Tranform, Load) : 데이터를 추출하고, 변형하여, (Data Warehouse에) 적재하는 과정을 일컫는 말 BI(Business Intelligence) : 데이터 추출/통합/리포팅을 위한 기본도구 집합, DW에서 분석된 데이터를 통해 숨겨진 패턴을 찾아.. 2024. 1. 22.

티스토리툴바