DevOps/AWS

[AWS/Kafka] Docker 설치 후 Kafka 설정

jungmin.park 2023. 12. 19. 23:07

https://jung-mmmmin.tistory.com/124

 

[Docker] Docker 부터 docker compose 설치

실행환경 cat /etc/*-release | uniq DISTRIB_ID=Ubuntu DISTRIB_RELEASE=22.04 Docker 설치 sudo apt-get update 필요한 패키지 설치 sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common Docker의 공

jung-mmmmin.tistory.com

 

https://jung-mmmmin.tistory.com/113

 

[Docker/Kafka] zookeeper/Kafka 설치

로컬에서 설치해봐도.. 강의를 따라서 설치해봐도 도저히 설치되지 않았는데 docker로 설치하는것도 안됐는데 한 블로그 그대로 하니 설치가 되었다. 하루내내 삽질한 기록 Zookeeper 컨테이너 이미

jung-mmmmin.tistory.com

 

 

두가지 설정이 모두 되었다는 가정하에 kafka 설정을 시작한다.

 

EC2에 저렇게 설치하고 topic을 설정하려고 하면 topic이 생기지 않는 문제가 있다.

다음과 같은 에러가 나온다면 kafka에 config 파일 설정이 필요하다.

docker exec -it kafka kafka-topics.sh --bootstrap-server 43.203.78.235:9092 --create --topic ticketReserve
Error while executing topic command : Call(callName=createTopics, deadlineMs=1702993872822, tries=1, nextAllowedTryMs=1702993872923) timed out at 1702993872823 after 1 attempt(s)
[2023-12-19 13:51:12,829] ERROR org.apache.kafka.common.errors.TimeoutException: Call(callName=createTopics, deadlineMs=1702993872822, tries=1, nextAllowedTryMs=1702993872923) timed out at 1702993872823 after 1 attempt(s)
Caused by: org.apache.kafka.common.errors.TimeoutException: Timed out waiting for a node assignment. Call: createTopics
 (kafka.admin.TopicCommand$)

 


1. docker - kafka 컨테이너 파일에 접근한다.

 

docker exec -it [kafka 컨테이너 ID] /bin/bash

 

2. config 디렉토리로 이동

root@3d4dabe5c6d6:/opt/kafka/config# pwd
/opt/kafka/config

 

3. kafka 설정 파일 수정

root@3d4dabe5c6d6:/opt/kafka/config# vi server.properties
advertised.listeners=PLAINTEXT://[EC2 주소]:9092
zookeeper.connect=localhost:2181

 

 

Reference


https://velog.io/@jwpark06/AWS-EC2%EC%97%90-Kafka-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0