본문 바로가기

⭐ AWS

 (217)
Athena 쿼리 예약 https://aws.amazon.com/ko/premiumsupport/knowledge-center/schedule-query-athena/ Athena 쿼리 예약 쿼리 예약은 정기적인 보고 쿼리를 실행하거나 정기적으로 새 파티션을 로드하는 것과 같은 여러 시나리오에서 유용합니다. Athena에서 쿼리를 예약할 수 있는 몇 가지 방법은 다음과 같습니다. aws.amazon.com 1. AWS IAM 서비스 역할 생성 - IAM 역할 생성에서 Athena, Amazon S3 및 Amazon CloudWatch Logs에 대한 액세스를 허용하는 정책을 연결 2. Lambda 함수를 생성 합니다. - 함수생성 → 새로 작성 → 함수이름 입력 → 런타임: 파이썬 → 역할: 기존 역할 사용 → 함수 생성 클릭..
AWS SQS + Lambda를 활용하여 메세징 서비스 구현 1. AWS SQS서비스를 구현하기 위한 구성요소 - Producer : 처리할 작업 메시지를 SQS에 등록 - Trigger : 큐(Queue) 대기열에 있는 메시지들을 조회하기 위해 CloueWatch의 스케줄 이벤트를 이용하여 매 분마다 Lambda Consumer 실행 - Consumer : Lambda Consumer는 큐 대기열에 있는 메시지 목록을 조회하여 각 메시지를 Lambda Worker에서 처리할 수 있도록 실행 - Worker : Lambda Worker는 메시지를 받아 작업을 처리하고 해당 메시지를 삭제 2. AWS SQS 서비스 생성 - 큐 생성하기 : AWS SQS 서비스 이동 > 대기열 생성을 클릭하여 큐 생성 - 큐의 이름과 구성 옵션을 설정 합니다. - 생성된 대기열을 확..
AWS QuickSight와 연결 가능한 서비스 # AWS QuickSight와 연결하여 데이터를 바로 시각화 가능한 서비스 목록 (추후 신규 서비스 생성으로 인해 변경 가능) # DB 저장소와 직접 연결하여 데이터 시각화 가능
AWS Redshift를 사용하여 S3 파일에 직접 쿼리 & 분석하기 # AWS Redshift에서 S3 버킷 데이터에 직접 쿼리하여 데이터를 분석하는 과정에 대해서 알아봅시다. # AWS Redshift는 클러스터 기반의 쿼리 분석기 입니다. 한마디로 하나의 데이터베이스 라고 생각하면 될 듯 합니다. 1. AWS Redshift에서 AWS의 다른 서비스 사용을 위해 IAM 역할 생성이 필요하다. - IAM 서비스로 이동하여 IAM 역할을 생성한다. - IAM 콘솔에서 역할 > 역할 만들기를 클릭하여 역할을 생성한다. - 권한 정책은 AmazonS3ReadOnlyAccess, AWSGlueConsoleFullAccess 2개의 서비스에 대한 권한을 추가한다. - 필요한 S3 스토리지에 접근해서 데이터를 읽을수 있는 역할과 생성할 테이블의 정의가 Glue를 통해서 저장이 된..
Manifest file을 이용하여 S3에서 데이터 세트 가져오는 방법 # Manifest 파일을 이용하여 S3에 저장되어 있는 데이터를 불러와 AWS QuickSight에서 시각화 하는 방법에 대해서 알아보자. https://docs.aws.amazon.com/quicksight/latest/user/supported-manifest-file-format.html Supported formats for Amazon S3 manifest files - Amazon QuickSight For log (.clf) and extended log (.elf) files, only the format field in this section is applicable, so you can skip the other fields. If you choose to include them, t..
Kinesis Data Streams 와 Kinesis Data Firehose 비교 # Kinesis Data Streams와 Kinesis Data Firehose를 비교해보자. 구분 Kinesis Data Streams Kinesis Data Firehose 역할 - 데이터를 수집 및 캡쳐 - 초당 기가바이트 데이터를 수집, 실시간으로 처리 및 분석에 사용 - 데이터를 분석 및 모니터링 - 실시간 데이터 스트림 준비 및 로드 최종 저장소 - Amazon Kinesis Data Analytics - Spark on EMR - Amazon EC2 - AWS Lambda - Amazon S3 - Amazon Redshift - Amazon Elasticsearch Service - Splunk - HTTP 엔드포인트* 활용 사례 - 로그 및 이벤트 데이터 수집 - 모바일 데이터 수집 - ..
데이터 분석을 위한 AWS 서비스 별 분류 # 데이터 분석을 위한 AWS 서비스별 분류에 대해서 알아보자. 1. 수집 서비스 - AWS IoT : AWS IoT는 기업이 보다 저렴하고 편하게 사물인터넷 기기를 관리하고 데이터를 취합 및 분석할 수 있는 서비스 이다. - Kinesis Streams : Amazon Kinesis Streams는 모든 규모의 데이터 스트림을 쉽게 캡처, 처리 및 저장할 수 있는 서버리스 스트리밍 데이터 서비스입니다. (서비스 장점 : 비교적 손쉽게 구성 가능, 관리 편의성 높음 | 서비스 단점 : 많은 자원의 사용으로 인한 높은 비용) - AWS SQS : SQS는 처리해야 할 업무에 대한 TODO 리스트와 같은 역할을 한다. 시스템에서는 이를 메시지라고 부른다. SQS는 이러한 메시지의 저장소다. SQS는 AWS에..
AWS Athena에서 추가로 CSV 컬럼 추가하기 # AWS Athena에 테이블이 생성이 되어있다. - 컬렴명은 아래와 같다. 기존 테이블 컬럼 : invoiceno, stockcode, description, quantity, invoicedate, unitprice, customerid, country - 총 8개의 컬럼으로 구성되어진 테이블이 있다. 여기서 Movie-Dataset-Latest.csv라는 파일을 S3버킷에 업로드 후 해당 파일의 컬럼을 기존에 구성된 테이블 뒤에 id, title, release_date 이렇게 3개의 컬럼을 생성하고 데이터를 붙여보자. 변경 테이블 컬럼 : invoiceno, stockcode, description, quantity, invoicedate, unitprice, customerid, country..

티스토리툴바