producer2 [Kafka] Producer의 최초 메시지 발행 지연 현상 사내에서 Kafka 클러스터를 구축하여 사용하던 중 특수한 현상을 발견하였다. 일정 시간이 지난 후 프로듀서에서 메시지를 발행을 하는데 새롭게 발행하는 첫 번째 메시지만 발행 시간이 상대적으로 오래 걸린다는 점을 알게 되었다. 첫 메시지 발행 시간이 오래 걸릴 때는 초단위까지 나오고 후속 메시지는 10ms 미만의 메시지가 발행되는 것을 확인하였고, 이와 관련된 정보를 찾아보았다. https://stackoverflow.com/questions/64228639/why-kafka-producer-is-very-slow-on-first-message Why kafka producer is very slow on first message?I am using kafka producer to send pri.. 2024. 10. 23. [Kafka] 멱등성/At least once/At most once/Exactly once MSA(Micro Service Architecture)에서 EDD(Event Driven Development)를 기반으로 개발을 할 때 Kafka를 이벤트 브로커로 많이 사용하게 되고, 그와 더불어서 이슈가 되는 것이 멱등성에 관한 내용이다. 아래 글은 Kafka에서 멱등성과 관련된 내용을 다룬 것이다. 1. 멱등성(Idempotence) : 멱등성 : 동일한 요청이 여러 차례 반복되어 작업이 처리되어도 동일한 결과를 나타내는 특성 Kafka의 Producer와 Consumer가 Pull 방식으로 발생한 이벤트를 처리하는데, 여기서 Producer와 Consumer에서 메시지 유실 또는 메시지 중복 처리가 발생할 수 있고, 이는 멱등성을 보장하지 못한다. 2. At least once : at_lea.. 2023. 7. 1. 이전 1 다음
