http://sjh4773.github.io/categories/kafka/ Recent content in kafka on My New Hugo Site Hugo -- gohugo.io kr-ko Sat, 11 Sep 2021 01:23:17 +0900 http://sjh4773.github.io/post/kafka1/ Sat, 11 Sep 2021 01:23:17 +0900 http://sjh4773.github.io/post/kafka1/ Before Kafka 엔드투엔드(end-to-end) 연결 방식의 아키텍처 데이터 연동의 복잡성 증가(하드웨어, 운영체제, 장애 등) 각기 다른 데이터 파이프라인 연결 구조 확장에 엄청난 노력 필요 모든 시스템으로 데이터를 전송 실시간 처리도 가능한 것 데이터가 갑자기 많아지더라도 확장이 용이한 시스템이 필요함 After Kafka 프로듀서/컨슈머 분리 메시지 데이터를 여러 컨슈머에게 허용 높은 처리량을 위한 메시지 최적화 스케일 아웃 가능 관련 생태계 제공 Kafka broker 실행된 카프카 애플리케이견 서버 중 1대