Apache Kafka (7) 썸네일형 리스트형 Apache Kafka 실행 명령어 정리 (windows) # ApacheKafka 실행 명령어 정리 - 이게 버전마다 조금씩 다른것 같다. - 실행 순서도 주키퍼 → 카프카 서버 → 토픽 확인 순으로 실행한다. - 실행 location : C:\kafka_2.12-3.7.0\bin\windows 1. zookeeper bin\windows\zookeeper-server-start.bat config\zookeeper.properties 2. kafka server bin\windows\kafka-server-start.bat config\server.properties 3. 토픽 확인 - 나는 여기서 exam 이라는 토픽을 생성 하였다. .\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topi.. Producer에서 Topic 생성, Partition 개수 늘리기, Consumer 데이터 확인 및 기본 명령어 정리 # Producer에서 새로운 Topic 생성하기 및 기본 명령어 정리 1. 현재의 토픽 리스트를 확인하기 bin/kafka-topics.sh --list --bootstrap-server localhost:9092 --exclude-internal - 결과 확인 2. 테스트용 데이터를 발생하는 SpingBoot에서 새로운 Topic을 생성 후 Kafka에 전송 1) 아래와 같이 새로운 클래스를 생성한다. 2) 위에서 만든 클래스의 내용중 아래와 같이 토픽 이름을 지정 한다. 여기서는 "NewTopic-01"로 지정을 하였다. 3) 테스트 프로그램에서 데이터를 흘린다. - 대략 한번 데이터를 보내면 1000건정도 쌓인다. 4) Kafka 서버에서 Topic이 생성 되었는지 확인 - 명령어 : bin/ka.. Kafka 설정 정리 # Kafka 설정 옵션 Zookeeper Config (zookeeper.properties) 옵션 설명 ✔ dataDir=/tmp/zookeeper 주키퍼의 상태, 스냅션, 트랜잭션 로그들을 저장 및 업데이트하는 디렉토리의 경로. dataLogDir=/data/zookeeper/logs 트랜잭션 로그를 저장하는 디렉토리. 특별한 설정을 하지 않으면 dataDir에 저장된다. 성능상 다른 디스크로 분리하는것이 좋다. ✔ clientPort=2181 클라이언트로 요청을 받기 위한 포트. initLimit=5 초기에 팔로워가 리더에 접속하거나 데이터를 동기화 시키기 위한 시간이며, 단위는 tickTime 이며 initLimit * tickTime으로 계산된다. syncLimit=2 follower가 lea.. Apache Kafka 주요 개념 정리 # Apache Kafka 주요 개념 정리 - 최근 이슈 카프카의 메타데이터 관리 도구인 주키퍼가 제거 될 예정... * 적용 전 고려사항 1) 하나의 파티션을 두개이상의 컨슈머가 소비할 수 없다. 2) 파티션을 늘리면 줄이질 못한다. 파티션을 초기 2, 4로 작게 생성 하고 향후 컨슈머의 LAG 등을 보면서 조금씩 늘리는게 좋다. 3) 브로커를 스케일 아웃을 하면 기존에 사용하고 있던 파티션들의 데이터가 자동으로 신규로 확장된 브로커로 전달되지 않고, 새로운 토픽의 데이터들만 전달 된다. 그래서 기존 토픽 데이터를 새로운 브로커로 전달하기 위해서는 partiton reassign 작업을 진행해 줘야한다. - 추후 고려사항 생기면 계속 업로드 예정... 0. Kafka란? - 고성능 : 프로듀서와 컨슈머.. Windows에서 Apache kafka 실행하기 # Windows에서 Apache Kafka를 실행하는 방법은 아래와 같다. 1. 카프카 다운로드 받기 https://kafka.apache.org/downloads Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org - 자바 환경변수 설정은 미리 해놓아야 한다. 2. 윈도우에서 kafka 실행하기 - windows kafaka 다운받은 경로로 이동한다. 총 4개의 실행 명령어를 입력한다. cmd 창을 열고 아래의 명령어 입력 첫번째(주키퍼) .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties 두번째(카프카 서버) .\bin\windows\ka.. EKS에 Kafka를 설치 후 테스트 하기 # EKS 클러스터에 Kafka를 설치 후 테스트를 진행해 보자. 1. 헬름을 통한 설치를 진행한다. - 헬름이란? 2021.10.24 - [⭐ Kubernetes & EKS/Helm] - Helm이란? 및 기본 명령어 정리 Helm이란? 및 기본 명령어 정리 Helm 차트를 활용한 애플리케이션 패키지 배포 쿠버네티스 애플리케이션 관리를 지원하는 도구 Helm 이란? Helm 은 쿠버네티스 package managing tool 이다. node.js 의 npm 과 비슷한 형태로 쿠버네티 may9noy.tistory.com 2. 헬름을 통해 카프카를 설치해보자. helm repo add bitnami https://charts.bitnami.com/bitnami # kafka 설치하기 helm instal.. Springboot에서 Kafka 연동하기 # 스프링 부트에서 카프카를 연동하기 - 기존 개발된 게시판 애플리케이션에서 카프카를 연동해보자. 1. Controller 및 Service 생성 2. 로컬환경에 kafka 설치 (docker 환경) - docker image 검색 - cmd → docker search kafka - bitani/kafka 가 가장많이 사용 되었음, zookeeper도 kafka와 같이 검색 후 docker-compose.yaml 파일을 작성한다. 3. docker-compose.yaml 파일 작성 version: '2' services: zookeeper: image: wurstmeister/zookeeper container_name: zookeeper ports: - "2181:2181" kafka: image: .. 이전 1 다음
