⭐ AWS/AWS Glue (3) 썸네일형 리스트형 AWS Glue에서 ETL 작업 시 고려사항 # AWS Glue의 데이터 변환 ETL 작업에 대해서 고려사항을 기록한다. 1. AWS Glue → ETL → 작업을 클릭하면 아래와 같이 작업 속성 구성을 입력하는 화면이 나온다. 2. 데이터 원본을 선택하는 화면이 나온다. 데이터 원본은 AWS Glue에서 크롤링하여 저장한 데이터 라고 볼 수 있다. - 데이터 원본을 선택 후 다음으로 넘어 간다. 3. 변환 유형 선택에서 스키마 변경을 선택 후 다음으로 넘어간다. 4. 데이터 스토어는 변환되어 저장되는 경로를 말하며 형식은 변경되어지는 데이터 형식, 그리고 대상경로는 변경된 데이터가 저장되는 경로라고 볼 수 있다. - 데이터 카탈로그 내 테이블을 사용하고 데이터 대상을 업데이트 옵션을 사용하여 데이터 타입을 변형 후 저장해보자. - 해야됨... 5.. 데이터 분석을 위한 AWS 서비스 별 분류 # 데이터 분석을 위한 AWS 서비스별 분류에 대해서 알아보자. 1. 수집 서비스 - AWS IoT : AWS IoT는 기업이 보다 저렴하고 편하게 사물인터넷 기기를 관리하고 데이터를 취합 및 분석할 수 있는 서비스 이다. - Kinesis Streams : Amazon Kinesis Streams는 모든 규모의 데이터 스트림을 쉽게 캡처, 처리 및 저장할 수 있는 서버리스 스트리밍 데이터 서비스입니다. (서비스 장점 : 비교적 손쉽게 구성 가능, 관리 편의성 높음 | 서비스 단점 : 많은 자원의 사용으로 인한 높은 비용) - AWS SQS : SQS는 처리해야 할 업무에 대한 TODO 리스트와 같은 역할을 한다. 시스템에서는 이를 메시지라고 부른다. SQS는 이러한 메시지의 저장소다. SQS는 AWS에.. AWS Glue를 활용한 데이터 시각화(AWS QuickSight) 구현 # 구현 아키텍처 데이터 레이크란? 데이터 레이크는 다양한 유형의 대량 데이터를 처리해야 하는 과제를 해결하는 데이터 저장 및 분석 방법이다. 데이터 레이크를 사용하면 정형 및 비정형 데이터 등 모든 데이터를 중앙 집중식 레포지토리 한 곳에 저장 할 수 있다. 데이터를 있는 그대로 저장할 수 있으므로 데이터를 사전 정의된 스키마로 변경할 필요가 없어진다. - AWS Glue를 사용하여 아마존 S3에서 데이터를 크롤링하고 다른 AWS 서비스에서 사용 가능한 메타 데이터 저장소를 구축하는 방법에 대해서 알아보자. - 일단 AWS Glue의 기능? AWS Glue는 까다롭고 시간이 많이 소요되는 데이터 ETL 작업을 간소화 및 자동화 하는 종합 관리형 서비스 이다. - AWS Glue의 동작 방법? AWS G.. 이전 1 다음
