본문 바로가기

⭐ AWS/Athena

 (7)
Athena에서 CloudTrail Log 데이터 분석하기 # Athena에서 CloudTrail 데이터 분석하기 1. CloudTrail의 추적을 생성하면 자동으로 S3에 해당 로그가 저장 되도록 구성한다. 2. 아래와 같이 Create trail 버튼을 클릭한다. 3. 추적 속성 선택정보 입력 4. S3에 쌓인 로그 파일을 Athena로 분석하기 클라우드 트레일에서 S3로 쌓운 데이터를 Athena에서 분석하자 일단 데이터가 어떤식으로 쌓이고 있는지 확인하면 아래와 같다. 클라우드 트레일에서 아래와 같이 전체 리전에 데이터를 쌓고 있다. 당연한 이야기지만 서울 리전에 데이터가 가장 많이 쌓일 것이다. 5. AWS 공식 문서에 나와 있는것처럼 아래의 내용을 AWS Athena에 입력하여 테이블을 생성하자 변경 되는 내용은 아래의 LOCATION일 것이다. CR..
Athena Case Statement # Athena Case Statement - Athena를 사용하면서 if else Statement를 해야할때 아래 내용 참고... SELECT CASE column_to_be_matched WHEN 'value_A' THEN 'the_replacement_of_value_A' WHEN 'value_B' THEN 'the_replacement_of_value_B' WHEN 'value_C' THEN 'the_replacement_of_value_C' ELSE 'default' END FROM some_table
ALB Access 로그를 S3에 저장 후 Athena를 통한 분석 1. ALB Access log 활성화 2022.07.22 - [⭐ AWS/ELB (ALB, NLB, CLB)] - ALB 액세스 로그 활성화 하기 ALB 액세스 로그 활성화 하기 # ALB에서 액세스 로그를 활성화 하는 방법에 대해서 알아본다. 1. 생성된 ALB를 클릭하여 아래와 같이 이동한다. 속성 편집을 클릭하여 편집 창으로 이동한다. 2. Access 로그 활성화 아래와 같이 Acce may9noy.tistory.com 2. Athena에서 S3 ALB Access log 테이블 생성 CREATE EXTERNAL TABLE IF NOT EXISTS log_analysis ( # 테이블 명 입력 type string, time string, elb string, client_ip string, c..
Athena와 람다를 활용한 데이터 분석 # 구성도
Athena 쿼리 예약 https://aws.amazon.com/ko/premiumsupport/knowledge-center/schedule-query-athena/ Athena 쿼리 예약 쿼리 예약은 정기적인 보고 쿼리를 실행하거나 정기적으로 새 파티션을 로드하는 것과 같은 여러 시나리오에서 유용합니다. Athena에서 쿼리를 예약할 수 있는 몇 가지 방법은 다음과 같습니다. aws.amazon.com 1. AWS IAM 서비스 역할 생성 - IAM 역할 생성에서 Athena, Amazon S3 및 Amazon CloudWatch Logs에 대한 액세스를 허용하는 정책을 연결 2. Lambda 함수를 생성 합니다. - 함수생성 → 새로 작성 → 함수이름 입력 → 런타임: 파이썬 → 역할: 기존 역할 사용 → 함수 생성 클릭..
AWS Athena에서 추가로 CSV 컬럼 추가하기 # AWS Athena에 테이블이 생성이 되어있다. - 컬렴명은 아래와 같다. 기존 테이블 컬럼 : invoiceno, stockcode, description, quantity, invoicedate, unitprice, customerid, country - 총 8개의 컬럼으로 구성되어진 테이블이 있다. 여기서 Movie-Dataset-Latest.csv라는 파일을 S3버킷에 업로드 후 해당 파일의 컬럼을 기존에 구성된 테이블 뒤에 id, title, release_date 이렇게 3개의 컬럼을 생성하고 데이터를 붙여보자. 변경 테이블 컬럼 : invoiceno, stockcode, description, quantity, invoicedate, unitprice, customerid, country..
S3에 저장된 CSV 파일을 Athena로 분석하기 # AWS S3에 저장된 엑셀 파일을 AWS Athena를 기반으로 분석하기 1. 새로운 S3 버킷을 생성하고, CSV로 만들어진 예제 파일을 업로드한다. - 이 예제 파일은 인터넷에 공개된 오픈 데이터이다. - 파일명은 onlie retail.xlsx이고, 이 파일을 CSV확장자로 변환하여 사용한다. - 아래의 URL에서 onlie retail.xlsx 파일을 다운로드할 수 있다. - 해당 파일을 다운로드 한 뒤 CSV 확장자로 변경하여 저장한다. https://www.kaggle.com/mrmining/online-retail online_retail www.kaggle.com - AWS S3로 이동 후 새로운 버킷을 생성한다. - 나는 athena-test-zzanggu라는 버킷을 생성하였고, 생성..

티스토리툴바