Kinesis Data Streams - SSH 접속 및 EC2 설정

1. 생성한 EC2에 SSH 접속을 하자. EC2 인스턴스 클릭 후 연결을 클릭한다.

2. SSH 클라이언트탭으로 이동 후 아래의 주소를 복사한다.

3. 윈도우 검색창에서 CMD를 검색 후 명령 프롬프트 아이콘 에서 우 클릭하여 관리자 권한으로 실행을 클릭한다.

4. 이전에 EC2를 생성할 때 다운받은 키페어가 있는 폴더로 이동한다.

5. 이전에 SSH 클라이언트에서 복한하 SSH키값을 붙여넣고 엔터를 친다.

6. 아래와 같이 워닝 에러가 발생할 경우 해결 1, 2 번을 참고하여 해결하자.

해결 1. Kinesis-Data-Stream.pem 파일에서 우클릭하여 속성으로 이동한다.

해결 2. 보안 → 고급 탭으로 이동하여 상속사용안함 클릭 → Users와 Authenticated Users 를 제거한다. 설정을 완료 후 다시 SSH키로 CMD창에서 접속하면 정상적으로 접속이 될 것이다.

7. SSH 접속 - 정상적으로 SSH에 접속한 상태

8. 명령어 wget 'https://github.com/ksmin23/aws-analytics-immersion-day/archive/main.zip' 을 입력하여 앞으로 작업할 소스파일을 다운 받습니다.

wget 'https://github.com/ksmin23/aws-analytics-immersion-day/archive/main.zip'

9. 명령어 : unzip -u main.zip 을 입력하여, 압축파일을 해제 합니다.

unzip -u main.zip

10. 실습환경에 대한 스크립트 권한을 부여합니다. 명령어 : chmod +x ./aws-analytics-immersion-day-main/set-up-hands-on-lab.sh

chmod +x ./aws-analytics-immersion-day-main/set-up-hands-on-lab.sh

11. 실습환경에 대한 스크립트를 실행 합니다. 명령어 : ./aws-analytics-immersion-day-main/set-up-hands-on-lab.sh

./aws-analytics-immersion-day-main/set-up-hands-on-lab.sh

- 파일명 및 소스코드 내용 : set-up-hands-on-lab.sh, 아래는 해당 파일의 내용

#!/bin/bash -

WORK_DIR=$(cd $(dirname $0); pwd)
TARGET_DIR=$(dirname ${WORK_DIR})

OS_NAME=$(cat /etc/os-release | awk -F "=" '$1 == "NAME" { print $2 }')
if [[ z"${OS_NAME}" == z"\"Amazon Linux AMI\"" ]];
then
  sudo yum -y update
  sudo yum -y install python36
  sudo pip-3.6 install -U boto3
elif [[ z"${OS_NAME}" == z"\"Amazon Linux\"" ]];
then
  sudo yum -y update
  sudo yum -y install python3
  sudo pip3 install -U boto3
elif [[ z"${OS_NAME}" == z"\"Ubuntu\"" ]];
then
  sudo apt-get -y update
  sudo apt-get -y install python3.6
  sudo apt-get -y install python3-pip
else
  echo "[Unknown OS] You should install python3.6+, pip3+ for yourself!"
  exit 0
fi

ln -sf ${WORK_DIR}/src/main/python/UpsertToES/upsert_to_es.py ${TARGET_DIR}/upsert_to_es.py
ln -sf ${WORK_DIR}/src/main/python/MergeSmallFiles/athena_ctas.py ${TARGET_DIR}/athena_ctas.py
ln -sf ${WORK_DIR}/src/main/python/utils/gen_kinesis_data.py ${TARGET_DIR}/gen_kinesis_data.py
ln -sf ${WORK_DIR}/resources ${TARGET_DIR}/resources

12. ls- 1 명령어를 사용하여 실습대상의 파일리스트를 확인한다.

12. aws configure 명령어를 활용하여, 이전에 생성한 IAM, Kinesis-Data-Streams 유저 데이터를 활용 합니다.
이전에 IAM 유저 생성 시 다운받은 .csv 파일을 열어 엑세스 키와 시크릿 엑세스 키를 입력합니다.
디폴트 리전은 현재 사용중인 리전을 입력하고, 디 폴트 아웃풋 포맷은 입력없이 엔터를 처도 무방합니다.
정상적으로 입력이 되었다면 아래와 같이 마스킹 처리되어 표시가 됩니다.

- 다음시간부터는 본격적인 Kinesis Data Stream 에 대해서 구성하고 실습하는 시간을 갖도록 하겠습니다.