혼자하는 프로젝트/KinesisDataStreams_Firehose (2) 썸네일형 리스트형 AWS KinesisDataStreams와 AWS KinesisFirehose를 이용한 아파치 로그 데이터 수집 저장 (2) # AWS KinesisDataStreams와 AWS KinesisFirehose를 이용한 아파치 로그 데이터 수집/저장 구현 - Kinesis Agent를 활용하여 데이터를 수집 및 저장하는 방법을 구현한다. - Kinesis Agent 사용에 대한 설명은 아래의 링크에서 확인 가능 https://docs.aws.amazon.com/ko_kr/streams/latest/dev/writing-with-agents.html Kinesis Data Streams를 사용하여 Amazon Kinesis Data Streams 쓰기 - Amazon Kinesis Data Streams 다음 흐름 구성은 첫 줄이 "[SEQUENCE="로 시작하는 여러 줄 레코드를 구문 분석합니다. 먼저 각각의 레코드가 한 줄 레코.. AWS KinesisDataStreams와 AWS KinesisFirehose를 이용한 아파치 로그 데이터 수집 저장 (1) # AWS KinesisDataStreams와 AWS KinesisFirehose를 이용한 아파치 로그 데이터 수집/저장 하는 방법 - 기본 아키텍처 - Amazon Kinesis Data Streams는 데이터를 실시간으로 수집하고 수집된 데이터를 저장하여 데이터 분석이 가능하도록 실시간으로 제공한다. - 구현 방법 : Producer는 지속적으로 Amazon Kinesis Data Streams에 지속적으로 데이터를 push 한다. Counsumer는 실시간으로 데이터를 처리한다. - 용어 설명 Shard: Stream에서 고유하게 식별되는 데이터 레코드 시퀀스 Stream은 1개 이상의 Shard로 구성되며 각 Shard는 고정된 용량을 제공, Stream의 총 용량은 해당 Shard의 용량의 합계.. 이전 1 다음
