Kinesis Data Firehoses - 생성

1. 데이터를 S3에 저장하기 위한 Kinesis Data Firehose 생성하기

2. Kinesis Data Firehose의 delevery stream의 이름을 지정하고, 하단 소스부분에는 Kinesis Data Stream을 선택 후 이전에 생성한 retail-trans를 선택하고 다음으로 넘어가자.

3. 스텝 2에서는 아래와같이 데이터 트랜스포메이션 옵션을 디스에이블로 설정한 후 다음 스텝으로 넘어간다.

4. 저장소? 도착지? 를 선택하는 화면에서 아마존 S3를 선택하고, S3 bucket 메뉴에서 Create New 를 클릭하여 새로운 버켓을 생성하자. 바뀐 화면 구성은 S3 버킷을 생성할때 소스 세팅을 할 수 있다. 거기에서 retail-trans를 선택하여 세팅을 하자.

- 버켓 이름은 구분하기 쉽게하기 위해 aws-analytics-immersion-day-20210613 으로 입력하고 생성을 한다.

5. 옵션 - S3 prefix 설정 (prefix는 접두사라는 의미로 접두사를 사용하여 데이터를 구성할때 사용하는 옵션같다...)

json-data/year=!{timestamp:yyyy}/month=!{timestamp:MM}/day=!{timestamp:dd}/hour=!{timestamp:HH}/

error-json/year=!{timestamp:yyyy}/month=!{timestamp:MM}/day=!{timestamp:dd}/hour=!{timestamp:HH}/!{firehose:error-output-type}

6. 버퍼 사이즈는 1MB, 버퍼 인터벌은 60초로 설정한다. IAM role 은 create or update IAM role을 선택한 후 다음으로 넘어간다.

7. 모든 설정값을 확인한 후 create delivery stream을 생성하여 생성을 마친다.

8. 최종적으로 생성된 모습

- 다음시간에는 데이터 파이프라인의 동작을 확인하는 시간을 갖도록 하겠다.