1. Kafka 개념 정리

• Kafka 필수 개념 정리

Kafka 필수 개념 정리

Kafka 기본 개념

Kafka는 고성능 분산 메시징 시스템으로, 대량의 데이터를 처리하고 분산된 환경에서 안정적으로 운영할 수 있도록 설계되었습니다. 

Kafka에서의 메시지는 데이터를 의미합니다.

1. Kafka의 주요 구성 요소

1.1. 브로커(Broker)

• Kafka 데이터를 저장하고 클라이언트의 요청을 처리하는 서버

• 여러 브로커가 모여 Kafka 클러스터를 형성

1.2. 토픽(Topic)

• 메시지가 저장되는 논리적 구분 단위

• 각 토픽은 여러 파티션으로 나뉘어 데이터를 분산 저장

1.3. 파티션(Partition)

• 토픽을 구성하는 물리적 단위

• 데이터를 병렬로 처리할 수 있도록 분산 저장

1.4. 복제(Replication)

• 내결함성을 위해 파티션 데이터를 여러 브로커에 복제

• replication-factor로 복제본 수 설정

1.5. 프로듀서(Producer)

• 데이터를 Kafka에 전송하는 클라이언트

• 특정 토픽으로 메시지를 보냄

1.6. 컨슈머(Consumer)

• Kafka에서 데이터를 소비하는 클라이언트

• 특정 토픽에서 메시지를 읽음

1.7. ZooKeeper (Kafka를 실행 시키기 위해 우선 실행)

• Kafka 메타데이터를 관리하는 도구

• Kafka 브로커의 상태를 모니터링하고 클러스터 구성을 관리