본문 바로가기

⭐ AWS

 (217)
S3에 저장된 CSV 파일을 Athena로 분석하기 # AWS S3에 저장된 엑셀 파일을 AWS Athena를 기반으로 분석하기 1. 새로운 S3 버킷을 생성하고, CSV로 만들어진 예제 파일을 업로드한다. - 이 예제 파일은 인터넷에 공개된 오픈 데이터이다. - 파일명은 onlie retail.xlsx이고, 이 파일을 CSV확장자로 변환하여 사용한다. - 아래의 URL에서 onlie retail.xlsx 파일을 다운로드할 수 있다. - 해당 파일을 다운로드 한 뒤 CSV 확장자로 변경하여 저장한다. https://www.kaggle.com/mrmining/online-retail online_retail www.kaggle.com - AWS S3로 이동 후 새로운 버킷을 생성한다. - 나는 athena-test-zzanggu라는 버킷을 생성하였고, 생성..
Amazon Redshift 구성 예제 # 아마존 Redshift를 구성하고 데이터를 분석하는 방법에 대해서 알아보자. 1. AWS Redshift란? Redshift는 클라우드 데이터 웨어 하우스 이다. 고성능의 인스턴스를 기반으로 데이터 작업을 빠르게 수행하고, AWS 에코 시스템과 연계하여 편리하게 사용이 가능하다. - AWS 에코 시스템이란? 분산되어있는 각각의 서비스를 하나의 시스템으로 연결되는 시스템을 에코 시스템 이라고 한다. 에코 시스템을 한글로 변역하면 생태계이다. 한마디로, 분산된 서비스를 AWS라는 하나의 생태계로 구성하여 편리하게 제공한다는 의미로 받아들이면 될 것 같다. - Redshift의 작업 프로세스: 사용할 데이터는 S3에 저장 후 Redshift에 로그하여 데이터를 분석한다. - 예제 파일로 샘플 데이터(미국 ..
AWS Glue를 활용한 데이터 시각화(AWS QuickSight) 구현 # 구현 아키텍처 데이터 레이크란? 데이터 레이크는 다양한 유형의 대량 데이터를 처리해야 하는 과제를 해결하는 데이터 저장 및 분석 방법이다. 데이터 레이크를 사용하면 정형 및 비정형 데이터 등 모든 데이터를 중앙 집중식 레포지토리 한 곳에 저장 할 수 있다. 데이터를 있는 그대로 저장할 수 있으므로 데이터를 사전 정의된 스키마로 변경할 필요가 없어진다. - AWS Glue를 사용하여 아마존 S3에서 데이터를 크롤링하고 다른 AWS 서비스에서 사용 가능한 메타 데이터 저장소를 구축하는 방법에 대해서 알아보자. - 일단 AWS Glue의 기능? AWS Glue는 까다롭고 시간이 많이 소요되는 데이터 ETL 작업을 간소화 및 자동화 하는 종합 관리형 서비스 이다. - AWS Glue의 동작 방법? AWS G..
AWS 서비스 비용계산하는 사이트 AWS 서비스 비용 계산 : https://calculator.aws/#/
Container Insights 로 eks 모니터링 # 클라우드 와치에서는 컨테이너 인사이트 - 이 기능은 쿠버네티스의 애플리케이션의 상태를 확인할 수 있고, 클러스터 노드, 파드, 네임스페이스, 서비스 레벨의 매트릭을 참조하여 모니터링이 가능하다. - 컨테이너 인사이트의 동작 구조는 간단한데, 클라우드와치 에이전트를 데몬 셋으로 동작시킨 후 메트릭 값을 클라우드 와치에서 받아서 화면에 뿌려주는 구조이다. # 사전작업 - eks 데이터노드 인스턴스를 클릭하여 화면 중간에 있는 IAM역할 링크를 클릭하여 IAM 역할 설정 창으로 이동한다. - 여기서 아래와 같이 정책 연결을 클릭 후 AmazonEKSWorkerNodePolicy 정책을 추가해 주면 된다. 1. CloudWatch용 네임스페이스 생성 - cloudwatch-namespace.yaml 이라는 ..
Codecommit에 리소스 다운받기 & 자격증명 하기 # CodeCommit에 업로드 되어있는 리소스를 다운받기 1. IAM에서 AWSCodeCommitPowerUser 권한을 해당 유저에게 부여 합니다. - 기존 정책 직접 연결에서 해당 정책 관련하여 검색 후 권한을 부여 합니다. - 여기서 AWSCodeCommitPowerUser 권한을 부여 하도록 하겠습니다. 2. 부여된 권한 확인 - 권한이 정상적으로 부여되면 아래와 같이 권한 부여된 리스트 확인이 가능합니다. - 이렇게 권한이 추가 되었으니 이제 CodeCommit으로 가서 Local에 소스코드를 다운받아 봅시다. 3. IAM 보안 자격 증명에 들어간 후에 AWS CodeCommit에 대한 HTTPS Git 자격 증명에서 자격 증명 생성을 클릭하여 자격 증명을 생성합니다. 이 자격증명은 추후에 R..
ECS 클러스터 생성하기 # ECS (Elastic Container Service)를 활용하여 서비스를 배포하는 과정 포스팅
ECR 에서 이미지 pull 하여 서버에 저장하기 # ECR에 업로드된 이미지를 서버에 다운로드하는 방법에 대해서 알아보자. # 기본적으로 ECR은 퍼블릭 환경과 프라이빗 환경으로 나누어 이미지를 업로드할 수 있다. - 어차피 도커도 프라이빗 환경은 유료이다보니, AWS를 사용하는 기존 고객 입장에서는 ECR을 사용하는 것이 조금 더 나을 수도 있다. 그렇다면 ECR에서 이미지를 pull 하여 서버에 저장하는 방법에 대해서 알아보자. - 현재 ECR에 logstash라는 레포지토리가 있다. 이 레포지토리 안에는 latest라는 태그를 가지고 있는 약 400메가 바이트의 이미지가 저장 되어있다. - 저장되어 있는 이미지를 서버에서 다운로드하여 보는 방법에 대해서 알아보자. - 기본 명령어 docker pull 000000000000.dkr.ecr.ap-n..

티스토리툴바