Kafka란 무엇인가?
Kafka 분산 스트리밍 플랫폼으로, 주로 실시간 데이터 피드의 빅 데이터 처리를 목적으로 사용 Kafka는 메시지 큐와 유사하지만, 대용량 데이터 스트림을 저장하고 실시간으로 분석하거나 처리하는데 중점을 둔다. 장점 1. 신뢰성 : 데이터복제, 확인 메커니즘 2. 유연성 : 다양한 소비자 패턴, 프로토콜 지원 3. 확장성 : 분산 시스템, 수평확장 4. 성능 : 높은 처리량, 저지연 5. 관리 및 모니터링 : 관리 도구, 플로그인 시스템 단점 1. 설정 및 운영 복잡성 : 복잡한 설정, 운영 관리 2. 성능문제 : 브로커 오버헤드, 대규모 메시지 처리 3. 운영비용 : 리소스 소비, 모니터링 및 유지보수 4. 러닝커브 : 학습 필요성 기본구성요소 메시지 데이터 단위 로그데이터나 이벤트 데이터가 메시지..
2024. 8. 21.