본문 바로가기

전체 글

 (1203)
Kinesis Data Streams - Athena를 통한 데이터 분석 1. Athena를 이용해서 데이터 분석 하기, 아테나를 시작하면 아래와 같은 초기 화면을 볼 수 있다. 2. 처음 방문 하는 경우라면, set up a query result location in Amazon S3 를 클릭해서 Athena의 쿼리 결과를 저장할 s3 위치를 설정합니다. s3 위치는 버켓 이름이 겹치지 않도록 임의 이름을 지정하여 저장 합니다. 3. 이제 데이터베이스를 생성해 보도록 하겠습니다. 첫번째로 : CREATE DATABASE mydatabase; 쿼리를 실행 합니다. 두번째로 Run query를 실행합니다. 세번째로 왼쪽에 데이터베이스 탭을 클릭하면 방금 우리가 생성한 mydatabase를 선택할 수 있습니다. CREATE DATABASE mydatabase; 4. 자 이번에는..
Kinesis Data Streams - Verify (검증하기) # 샘플 데이터를 이용해서 Kinesis Data Streams -> Kinesis Data Firehose -> S3 로 데이터가 정상적으로 수집되는지 확인합니다. - gen_kinesis_data.py 파일의 소스코드 내용 (아래) import sys import csv import json import argparse from collections import OrderedDict import base64 import traceback import random import time import datetime import boto3 random.seed(47) SCHEMA_CONV_TOOL = { "Invoice": str, "StockCode": str, "Description": str, "Qu..
Kinesis Data Firehoses - 생성 1. 데이터를 S3에 저장하기 위한 Kinesis Data Firehose 생성하기 2. Kinesis Data Firehose의 delevery stream의 이름을 지정하고, 하단 소스부분에는 Kinesis Data Stream을 선택 후 이전에 생성한 retail-trans를 선택하고 다음으로 넘어가자. 3. 스텝 2에서는 아래와같이 데이터 트랜스포메이션 옵션을 디스에이블로 설정한 후 다음 스텝으로 넘어간다. 4. 저장소? 도착지? 를 선택하는 화면에서 아마존 S3를 선택하고, S3 bucket 메뉴에서 Create New 를 클릭하여 새로운 버켓을 생성하자. 바뀐 화면 구성은 S3 버킷을 생성할때 소스 세팅을 할 수 있다. 거기에서 retail-trans를 선택하여 세팅을 하자. - 버켓 이름은 ..
Kinesis Data Streams - 생성 1. 구현 아키텍처(AWS lab에서 펌) Kinesis Data Streams이란? Amazon Kinesis Data Streams는 모든 규모의 데이터 스트림을 쉽게 캡처, 처리 및 저장할 수 있는 서버리스 스트리밍 데이터 서비스입니다. 2. 아마존 Kinesis로 이동 후 입력 데이터를 수신 할 데이터 스트림을 생성한다. 3. 데이터 스트림 이름과 열림 샤드 수를 입력 후 데이터 스트림을 생성한다. 4. 생성된 데이터 스트림 확인
Kinesis Data Streams - SSH 접속 및 EC2 설정 1. 생성한 EC2에 SSH 접속을 하자. EC2 인스턴스 클릭 후 연결을 클릭한다. 2. SSH 클라이언트탭으로 이동 후 아래의 주소를 복사한다. 3. 윈도우 검색창에서 CMD를 검색 후 명령 프롬프트 아이콘 에서 우 클릭하여 관리자 권한으로 실행을 클릭한다. 4. 이전에 EC2를 생성할 때 다운받은 키페어가 있는 폴더로 이동한다. 5. 이전에 SSH 클라이언트에서 복한하 SSH키값을 붙여넣고 엔터를 친다. 6. 아래와 같이 워닝 에러가 발생할 경우 해결 1, 2 번을 참고하여 해결하자. 해결 1. Kinesis-Data-Stream.pem 파일에서 우클릭하여 속성으로 이동한다. 해결 2. 보안 → 고급 탭으로 이동하여 상속사용안함 클릭 → Users와 Authenticated Users 를 제거한다...
Kinesis Data Streams - EC2 생성 1. EC2를 생성합니다. 우리는 아마존 AMI 리눅스 버전을 사용하도록 하겠습니다. 2. EC2 인스턴스의 유형을 선택 후 다음을 클릭합니다. 우리는 테스트 버전이니 테스트 용도로 프리티어가 적용되는 유형의 EC2를 선택하겠습니다. 3. 인스턴스 세부 정보 구성에서 퍼블릭 IP 자동할당 옵션을 활성화 시킨 뒤 다음 스텝으로 이동합니다. 4. 스토리지와 태그는 기본값으로 설정한 뒤 보안그룹 구성 탭으로 이동합니다. 기존 보안그룹을 선택 후 기존에 생성한 보안그룹을 선택 후(bastion-host, elastic-search) 검토 및 시작 버튼을 클릭하여 다음 탭으로 이동 합니다. 5. 생성한 EC2의 키페어를 다운로드 합니다. 새로 생성할지 여부를 선택 후 키페어 이름을 넣은 뒤 키페어 다운로드를 클릭..
Kinesis Data Streams- 보안그룹 설정 1. EC2 서비스로 이동한 뒤 보안그룹 클릭 후 보안 그룹 생성 클릭! 2. 보안그룹 생성에서 보안그룹 이름과 설명 그리고 VPC 를 선택, 인바운드 규칙과 아웃바운드 규칙을 추가 및 확인 후 보안그룹 생성을 클릭하여 해당 보안그룹을 생성한다. 3. 엘라스틱 서치에서 사용할 보안그룹을 생성한다. 보안그룹 이름과 설명, VPC 등의 기본적인 정보만 입력하고 보안그룹을 생성한다. 4. 엘라스틱 서치에서 클러스터링할 보안그룹을 생성한다. - 인바운드 정보는 비워두고, 아웃바운드 정책에서 모든 TCP로 변경, 대상을 이전 단계에서 생성한 elastic-search를 검색하여 등록해준다. 그 후 보안그룹을 생성한다. - 다음 단계에서는 EC2 생성에 대해서 알아보도록 하겠다.
Kinesis Data Streams - IAM 설정 1. AWS 로그인 후 IAM 서비스로 들어간다. IAM 서비스에서 사용자 탭을 클릭 한 뒤 사용자 추가를 진행한다. 2. 사용자 추가탭에서 사용자 이름과 액세스 유형 등 설정 한 뒤 다음을 클릭하여 다음단계로 넘어갑니다. 3. 권한탭에서 기존 정책 직접 연결 → AdministratorAceess 권한을 체크한 뒤 다음 스텝으로 이동 합니다. 4. 설정된 사항을 검토한 뒤 사용자 만들기를 클릭하여 사용자 생성을 합니다. 5. .csv 파일은 이후 생성되는 EC2 설정에 꼭 필요한 파일이므로 기억하기 쉬운 디렉토리에 저장해 둡니다. 6. 이로써 사용자 생성을 마쳤습니다. 다음은 보안그룹 설정에 대해서 알아 보겠습니다.

티스토리툴바