⭐ AWS/Kinesis Data Stream (11) 썸네일형 리스트형 Kinesis Data Streams 와 Kinesis Data Firehose 비교 # Kinesis Data Streams와 Kinesis Data Firehose를 비교해보자. 구분 Kinesis Data Streams Kinesis Data Firehose 역할 - 데이터를 수집 및 캡쳐 - 초당 기가바이트 데이터를 수집, 실시간으로 처리 및 분석에 사용 - 데이터를 분석 및 모니터링 - 실시간 데이터 스트림 준비 및 로드 최종 저장소 - Amazon Kinesis Data Analytics - Spark on EMR - Amazon EC2 - AWS Lambda - Amazon S3 - Amazon Redshift - Amazon Elasticsearch Service - Splunk - HTTP 엔드포인트* 활용 사례 - 로그 및 이벤트 데이터 수집 - 모바일 데이터 수집 - .. Kinesis Data Streams - Amazon Elasticsearch Service 생성 1. Elasticsearch Service 를 AWS에서 검색하여 시작합니다. 아래의 설정과 같이 배포 유형을 프로덕션으로 설정하고 다음 버튼을 클릭하여 다음으로 이동합니다. 2. 도메인 이름, 인스턴스 유형, 노드 수, 데이터 노드 스토리지와 전용 마스터노드 설정 후 다음을 클릭 합니다. 3. 아래의 내용에서 VPC 엑세스(권장)을 사용해야 하나, 디폴드 VPC의 서브넷의 범위가 너무 커서 신규로 하위 서브넷을 생성할 수 없기에... 이제와서 다른서브넷으로 설정하자니 서비스가 안될거 같고, 해서 퍼블릭 액세스로 변경을 하였다. 원래 디폴트는 VPC 엑세스와 3개의 서브넷이 필요하다. { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Pr.. Kinesis Data Streams - QuickSight 1. QuickSight를 이용한 데이터 시각화 → 아마존 퀵사이트로 이동 후 계정을 생성 합니다. 스탠다드를 선택하여 내용을 확인 후 계속을 클릭 합니다. 2. 퀵사이트의 설정을 아래와 같이 설정해 줍니다. 여기서 중요한것이 S3 버킷 선택인데요 오른쪽 하단에 S3 버킷 선택을 클릭합니다. - 데이터가 저장된 S3 버켓을 설정해 줍니다. 설정 후 완료를 클릭 후 계정생성을 마칩니다. 3. 계정이 생성도면 아마존 퀵사이트 이동을 클릭하여 아마존 퀵사이트 홈으로 이동합니다. 오른쪽 상단에 계정번호를 클릭 후 리전을 확인 합니다. 리전이 만약 다르다면 맞춰 주시면 됩니다. 확인이 완료 되었으면, 우측 상단에 새 분석을 클릭하여 설정 화면으로 이동합니다. 4. 새 데이터 세트를 클릭하여 새로운 데이터 세트를 .. Kinesis Data Streams - Athena를 통한 데이터 분석 1. Athena를 이용해서 데이터 분석 하기, 아테나를 시작하면 아래와 같은 초기 화면을 볼 수 있다. 2. 처음 방문 하는 경우라면, set up a query result location in Amazon S3 를 클릭해서 Athena의 쿼리 결과를 저장할 s3 위치를 설정합니다. s3 위치는 버켓 이름이 겹치지 않도록 임의 이름을 지정하여 저장 합니다. 3. 이제 데이터베이스를 생성해 보도록 하겠습니다. 첫번째로 : CREATE DATABASE mydatabase; 쿼리를 실행 합니다. 두번째로 Run query를 실행합니다. 세번째로 왼쪽에 데이터베이스 탭을 클릭하면 방금 우리가 생성한 mydatabase를 선택할 수 있습니다. CREATE DATABASE mydatabase; 4. 자 이번에는.. Kinesis Data Streams - Verify (검증하기) # 샘플 데이터를 이용해서 Kinesis Data Streams -> Kinesis Data Firehose -> S3 로 데이터가 정상적으로 수집되는지 확인합니다. - gen_kinesis_data.py 파일의 소스코드 내용 (아래) import sys import csv import json import argparse from collections import OrderedDict import base64 import traceback import random import time import datetime import boto3 random.seed(47) SCHEMA_CONV_TOOL = { "Invoice": str, "StockCode": str, "Description": str, "Qu.. Kinesis Data Firehoses - 생성 1. 데이터를 S3에 저장하기 위한 Kinesis Data Firehose 생성하기 2. Kinesis Data Firehose의 delevery stream의 이름을 지정하고, 하단 소스부분에는 Kinesis Data Stream을 선택 후 이전에 생성한 retail-trans를 선택하고 다음으로 넘어가자. 3. 스텝 2에서는 아래와같이 데이터 트랜스포메이션 옵션을 디스에이블로 설정한 후 다음 스텝으로 넘어간다. 4. 저장소? 도착지? 를 선택하는 화면에서 아마존 S3를 선택하고, S3 bucket 메뉴에서 Create New 를 클릭하여 새로운 버켓을 생성하자. 바뀐 화면 구성은 S3 버킷을 생성할때 소스 세팅을 할 수 있다. 거기에서 retail-trans를 선택하여 세팅을 하자. - 버켓 이름은 .. Kinesis Data Streams - 생성 1. 구현 아키텍처(AWS lab에서 펌) Kinesis Data Streams이란? Amazon Kinesis Data Streams는 모든 규모의 데이터 스트림을 쉽게 캡처, 처리 및 저장할 수 있는 서버리스 스트리밍 데이터 서비스입니다. 2. 아마존 Kinesis로 이동 후 입력 데이터를 수신 할 데이터 스트림을 생성한다. 3. 데이터 스트림 이름과 열림 샤드 수를 입력 후 데이터 스트림을 생성한다. 4. 생성된 데이터 스트림 확인 Kinesis Data Streams - SSH 접속 및 EC2 설정 1. 생성한 EC2에 SSH 접속을 하자. EC2 인스턴스 클릭 후 연결을 클릭한다. 2. SSH 클라이언트탭으로 이동 후 아래의 주소를 복사한다. 3. 윈도우 검색창에서 CMD를 검색 후 명령 프롬프트 아이콘 에서 우 클릭하여 관리자 권한으로 실행을 클릭한다. 4. 이전에 EC2를 생성할 때 다운받은 키페어가 있는 폴더로 이동한다. 5. 이전에 SSH 클라이언트에서 복한하 SSH키값을 붙여넣고 엔터를 친다. 6. 아래와 같이 워닝 에러가 발생할 경우 해결 1, 2 번을 참고하여 해결하자. 해결 1. Kinesis-Data-Stream.pem 파일에서 우클릭하여 속성으로 이동한다. 해결 2. 보안 → 고급 탭으로 이동하여 상속사용안함 클릭 → Users와 Authenticated Users 를 제거한다... 이전 1 2 다음
