1. Kafka 개념 정리

Kafka 필수 개념 정리
Kafka 기본 개념 

 Kafka는 고성능 분산 메시징 시스템으로, 대량의 데이터를 처리하고 분산된 환경에서 안정적으로 운영할 수 있도록 설계되었습니다.  

 Kafka에서의 메시지는 데이터를 의미합니다. 

 1. Kafka의 주요 구성 요소 

 1.1. 브로커(Broker) 

 

 Kafka 데이터를 저장하고 클라이언트의 요청을 처리하는 서버 

 

 

 여러 브로커가 모여 Kafka 클러스터를 형성 

 

 1.2. 토픽(Topic) 

 

 메시지가 저장되는 논리적 구분 단위 

 

 

 각 토픽은 여러 파티션으로 나뉘어 데이터를 분산 저장 

 

 1.3. 파티션(Partition) 

 

 토픽을 구성하는 물리적 단위 

 

 

 데이터를 병렬로 처리할 수 있도록 분산 저장 

 

 1.4. 복제(Replication) 

 

 내결함성을 위해 파티션 데이터를 여러 브로커에 복제 

 

 

 replication-factor 로 복제본 수 설정 

 

 1.5. 프로듀서(Producer) 

 

 데이터를 Kafka에 전송하는 클라이언트 

 

 

 특정 토픽으로 메시지를 보냄 

 

 1.6. 컨슈머(Consumer) 

 

 Kafka에서 데이터를 소비하는 클라이언트 

 

 

 특정 토픽에서 메시지를 읽음 

 

 1.7. ZooKeeper (Kafka를 실행 시키기 위해 우선 실행) 

 

 Kafka 메타데이터를 관리하는 도구 

 

 

 Kafka 브로커의 상태를 모니터링하고 클러스터 구성을 관리