본문 바로가기

⭐ AWS/AWS Redshift

(2)
AWS Redshift를 사용하여 S3 파일에 직접 쿼리 & 분석하기 # AWS Redshift에서 S3 버킷 데이터에 직접 쿼리하여 데이터를 분석하는 과정에 대해서 알아봅시다. # AWS Redshift는 클러스터 기반의 쿼리 분석기 입니다. 한마디로 하나의 데이터베이스 라고 생각하면 될 듯 합니다. 1. AWS Redshift에서 AWS의 다른 서비스 사용을 위해 IAM 역할 생성이 필요하다. - IAM 서비스로 이동하여 IAM 역할을 생성한다. - IAM 콘솔에서 역할 > 역할 만들기를 클릭하여 역할을 생성한다. - 권한 정책은 AmazonS3ReadOnlyAccess, AWSGlueConsoleFullAccess 2개의 서비스에 대한 권한을 추가한다. - 필요한 S3 스토리지에 접근해서 데이터를 읽을수 있는 역할과 생성할 테이블의 정의가 Glue를 통해서 저장이 된..
Amazon Redshift 구성 예제 # 아마존 Redshift를 구성하고 데이터를 분석하는 방법에 대해서 알아보자. 1. AWS Redshift란? Redshift는 클라우드 데이터 웨어 하우스 이다. 고성능의 인스턴스를 기반으로 데이터 작업을 빠르게 수행하고, AWS 에코 시스템과 연계하여 편리하게 사용이 가능하다. - AWS 에코 시스템이란? 분산되어있는 각각의 서비스를 하나의 시스템으로 연결되는 시스템을 에코 시스템 이라고 한다. 에코 시스템을 한글로 변역하면 생태계이다. 한마디로, 분산된 서비스를 AWS라는 하나의 생태계로 구성하여 편리하게 제공한다는 의미로 받아들이면 될 것 같다. - Redshift의 작업 프로세스: 사용할 데이터는 S3에 저장 후 Redshift에 로그하여 데이터를 분석한다. - 예제 파일로 샘플 데이터(미국 ..