본문 바로가기

⭐ AWS

 (217)
ECS 클러스터 생성하기 # 사전작업 수행 2021.12.22 - [AWS/ECR] - ECR에서 NginX 컨테이너 생성하기 ECR에서 NginX 컨테이너 생성하기 Amazon Elastic Container Registry(ECR)은 일종의 Docker 라고 생각하면 쉽다. Docker image를 ECR에 저장하고, 서비스 하는 방식이라고 생각하면 쉽다. 1. ECR 이미지 생성하기 > 프라이빗 영역을 클릭 후 레포.. may9noy.tistory.com 2021.12.23 - [AWS/ECR] - ECR에서 이미지 pull 하여 서버에 저장하기 ECR 에서 이미지 pull 하여 서버에 저장하기 # ECR에 업로드된 이미지를 서버에 다운로드하는 방법에 대해서 알아보자. # 기본적으로 ECR은 퍼블릭 환경과 프라이빗 환경으로..
AWS 보안그룹을 활용한 트래픽 필터링 # 보안그룹을 활용한 접속 대상 필터링 - 여러개의 보안그룹을 활용하여 접속 대상을 좀 더 구체적으로 필터링 가능 할 수도 있다.
AWS Glue에서 ETL 작업 시 고려사항 # AWS Glue의 데이터 변환 ETL 작업에 대해서 고려사항을 기록한다. 1. AWS Glue → ETL → 작업을 클릭하면 아래와 같이 작업 속성 구성을 입력하는 화면이 나온다. 2. 데이터 원본을 선택하는 화면이 나온다. 데이터 원본은 AWS Glue에서 크롤링하여 저장한 데이터 라고 볼 수 있다. - 데이터 원본을 선택 후 다음으로 넘어 간다. 3. 변환 유형 선택에서 스키마 변경을 선택 후 다음으로 넘어간다. 4. 데이터 스토어는 변환되어 저장되는 경로를 말하며 형식은 변경되어지는 데이터 형식, 그리고 대상경로는 변경된 데이터가 저장되는 경로라고 볼 수 있다. - 데이터 카탈로그 내 테이블을 사용하고 데이터 대상을 업데이트 옵션을 사용하여 데이터 타입을 변형 후 저장해보자. - 해야됨... 5..
AWS QuickSight # AWS 퀵사이트에서 오류 - 오류 내용 [Simba][AthenaJDBC](100071) An error has been thrown from the AWS Athena client. Permission denied on S3 path:[S3경로] - 해당 오류가 발생하면 퀵사이트에서 S3에 대한 접근 권한을 설정 해주어야 한다. - 설정 방법 : QuickSight 관리 → 보안 및 권한 → AWS 서비스에 대한 QuickSight 액세스에서 Manage를 클릭하여 S3버킷에 대한 접근 권한을 설정해주어야 한다. - 데이터 세트 편집 옵션을 클릭하면 현재 데이터 세트를 자동으로 새로고침을 한다. 그 후 우측 상단에 게시 및 시각화를 통해 데이터 세트의 최종정보를 가져올 수 있다. - 위에 설정을 마..
QuickSight에서는 Pqrquet 형식의 데이터 업로드 # QuickSight 에서 Parquet 형식의 데이터를 json 형식의 manifest 파일로 작성하여 업로드를 해보자. - 아래와 같이 json 형식의 포멧으로 작성을 하였으나, QuickSight에서는 로드가 실패했다. { "fileLocations": [ { "URIPrefixes": [ "https://data_bucket.s3-ap-northeast-2.amazonaws.com", "s3://apache-logs/parquet/" ] } ], "globalUploadSettings": { "format": "Parquet" } 원인을 찾아보니 스택 오버플로우에서 아래와 같은 답글이 있었다. AWS S3 does not support parquet format in the manifest fi..
AWS QuickSight 데이터 새로고침 # 아파치 로그 데이터를 실시간으로 받아 AWS QuickSight에 표시하는 작업을 수행 # AWS S3에 새로운 데이터가 JSON 형태로 쌓이고, 쌓인 데이터를 AWS Glue에서 전처리 후 전치리된 데이터를 AWS QuickSight에서 읽어서 화면에 표시 한다. - 주요 작업 1. AWS QuickSight의 새로고침 - 데이터 세트로 이동한다. - 데이터 세트 이름을 클릭한 후 세부 창에서 새로 고침 예약을 클릭하여 QuickSight의 새로고침 예약을 설정한다. 2. 새로 고침 예약에서 아래처럼 일정을 등록해주면 된다. - 반복 일정 주기 : 매시간, 매일, 매주, 매월 이 존재한다. - 더 세분화 하여 데이터를 새로고침 하기를 원한다면 람다 함수 및 이벤트 트리거를 추가로 구현을 해야 가능할..
S3 데이터 저장 및 조회 구조 # S3 버킷에서의 데이터가 저장 및 조회가 되는 구조에 대해서 설명 # 아래의 구조도를 보면 이해가 쉬움 - 핵심은 S3는 증분식 데이터 저장 및 조회가 가능한 데이터 저장소라고 보면 됨 - Athena를 기준으로 데이터를 조회 시 S3의 저장 경로만 바꾸지 않는다면 증분저장 및 증분조회가 가능한 구조 - 끝 -
Athena와 람다를 활용한 데이터 분석 # 구성도

티스토리툴바