본문 바로가기

전체 글

 (1200)
MSA (스프링 부트 어플리케이션을 실행하는 4가지 방법) 1. 포트번호를 직접 입력하여 어플리케이션을 기동 2. 어플리케이션 클론을 생성, 복사 후 Modify options에서 add VM options 항목을 추가 -Dserver.port=9002 를 입력 후 어플리케이션을 실행하면 9002번 포트를 타고 실행된다. 3. mvn spring-boot:run -Dspring-boot.run.jvmArguments='-Dserver.port=9003' 명령어를 입력하여 실행. 4. 마지막 네번째로는 CMD창에서 - 명령어: java -jar -Dserver.port=9004 ./target/user-service-0.0.1-SNAPSHOT.jar 5. 4개의 포트를 각각의 방법으로 기동 후 매니저 콘솔에서 상태 확인 - 4개의 서비스가 구동중인것을 확인 할 수..
MSA (유저 서비스 생성하기) # 유저 서비스를 생성하고 생성된 클라이언트를 관리 페이지에서 확인하는 작업을 해보자 1. 스프링 이니셜라이저 사이트에서 아래와 같이 디펜던시를 추가하고 GENERATE 하자. Default 값 2. GENERATE 한 .zip파일의 압축을 해제하고, InteliJ에서 open하여 빌드하자. 파일을 빌드 후 .properties -> .yml 로 변경하고, 아래의 코드를 입력하자. server: port: 9001 spring: application: name: user-service eureka: clinet: register-with-eureka: true fetch-registry: true service-url: defaultZone: http://127.0.0.1:8761/eureka - 이코드..
MSA (스프링 부트 세팅) # 스프링 부트는 개발에 사용하는 디펜던시 및 라이브러리등을 자동으로 빌드하여 개발 편의성을 높였다. 이번 시간에는 MSA 첫 시간으로 Intelij를 활용한 스프링 부트의 환경설정을 세팅하는 방법에 대해 알아보자. 1. 스프링 이니셜라이져 사용하여 빌드파일 다운받기 https://start.spring.io/ 로 접속하여 스프링부트에서 사용할 빌드 파일들을 다운로드 할 수 있다. 매우 직관적이고 사용이 편리하게 되어있어 마우스 클릭 몇번만으로 서버 빌드파일을 다운로드 할 수 있다. 아래의 설정을 참조하여 GENERATE 해보자. 2. InteliJ를 실행하고 다운 받은 빌드 파일을 Import 해보자. - 이전에 스프링이니셜라이저에서 생성한 zip 파일을 압축을 해제하고, 해제한 경로를 import 해..
Kinesis Data Streams - Amazon Elasticsearch Service 생성 1. Elasticsearch Service 를 AWS에서 검색하여 시작합니다. 아래의 설정과 같이 배포 유형을 프로덕션으로 설정하고 다음 버튼을 클릭하여 다음으로 이동합니다. 2. 도메인 이름, 인스턴스 유형, 노드 수, 데이터 노드 스토리지와 전용 마스터노드 설정 후 다음을 클릭 합니다. 3. 아래의 내용에서 VPC 엑세스(권장)을 사용해야 하나, 디폴드 VPC의 서브넷의 범위가 너무 커서 신규로 하위 서브넷을 생성할 수 없기에... 이제와서 다른서브넷으로 설정하자니 서비스가 안될거 같고, 해서 퍼블릭 액세스로 변경을 하였다. 원래 디폴트는 VPC 엑세스와 3개의 서브넷이 필요하다. { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Pr..
Kinesis Data Streams - QuickSight 1. QuickSight를 이용한 데이터 시각화 → 아마존 퀵사이트로 이동 후 계정을 생성 합니다. 스탠다드를 선택하여 내용을 확인 후 계속을 클릭 합니다. 2. 퀵사이트의 설정을 아래와 같이 설정해 줍니다. 여기서 중요한것이 S3 버킷 선택인데요 오른쪽 하단에 S3 버킷 선택을 클릭합니다. - 데이터가 저장된 S3 버켓을 설정해 줍니다. 설정 후 완료를 클릭 후 계정생성을 마칩니다. 3. 계정이 생성도면 아마존 퀵사이트 이동을 클릭하여 아마존 퀵사이트 홈으로 이동합니다. 오른쪽 상단에 계정번호를 클릭 후 리전을 확인 합니다. 리전이 만약 다르다면 맞춰 주시면 됩니다. 확인이 완료 되었으면, 우측 상단에 새 분석을 클릭하여 설정 화면으로 이동합니다. 4. 새 데이터 세트를 클릭하여 새로운 데이터 세트를 ..
Kinesis Data Streams - Athena를 통한 데이터 분석 1. Athena를 이용해서 데이터 분석 하기, 아테나를 시작하면 아래와 같은 초기 화면을 볼 수 있다. 2. 처음 방문 하는 경우라면, set up a query result location in Amazon S3 를 클릭해서 Athena의 쿼리 결과를 저장할 s3 위치를 설정합니다. s3 위치는 버켓 이름이 겹치지 않도록 임의 이름을 지정하여 저장 합니다. 3. 이제 데이터베이스를 생성해 보도록 하겠습니다. 첫번째로 : CREATE DATABASE mydatabase; 쿼리를 실행 합니다. 두번째로 Run query를 실행합니다. 세번째로 왼쪽에 데이터베이스 탭을 클릭하면 방금 우리가 생성한 mydatabase를 선택할 수 있습니다. CREATE DATABASE mydatabase; 4. 자 이번에는..
Kinesis Data Streams - Verify (검증하기) # 샘플 데이터를 이용해서 Kinesis Data Streams -> Kinesis Data Firehose -> S3 로 데이터가 정상적으로 수집되는지 확인합니다. - gen_kinesis_data.py 파일의 소스코드 내용 (아래) import sys import csv import json import argparse from collections import OrderedDict import base64 import traceback import random import time import datetime import boto3 random.seed(47) SCHEMA_CONV_TOOL = { "Invoice": str, "StockCode": str, "Description": str, "Qu..
Kinesis Data Firehoses - 생성 1. 데이터를 S3에 저장하기 위한 Kinesis Data Firehose 생성하기 2. Kinesis Data Firehose의 delevery stream의 이름을 지정하고, 하단 소스부분에는 Kinesis Data Stream을 선택 후 이전에 생성한 retail-trans를 선택하고 다음으로 넘어가자. 3. 스텝 2에서는 아래와같이 데이터 트랜스포메이션 옵션을 디스에이블로 설정한 후 다음 스텝으로 넘어간다. 4. 저장소? 도착지? 를 선택하는 화면에서 아마존 S3를 선택하고, S3 bucket 메뉴에서 Create New 를 클릭하여 새로운 버켓을 생성하자. 바뀐 화면 구성은 S3 버킷을 생성할때 소스 세팅을 할 수 있다. 거기에서 retail-trans를 선택하여 세팅을 하자. - 버켓 이름은 ..

티스토리툴바