kafka 生产者设置
本文是「kafka权威指南」的第三章笔记。
在设置生产者之前我们先看看整个生产者到kafka broker的流程是怎么样的。
这个图是原文里的。
可以看到一个标准的ProducerRecord是必须要包含Topic和Value,然后Partition和Key是可选的。
从图中也可以看到,生产者需要把Key,Value序列化成数组,然后再去网络上传输。
如果record里有包含了Partition了,那就不需要分区器干活了,如果没有包含,那分区器就会根据record对象的key来选择一个分区。
选好分区之后,那生产者就知道往哪个topic和分区里发送记录了。然后这个记录就被添加到一个记录批次里,这个批次里所有消息都会被发送到相同的topic和分区上,这是由一个独立线程来处理的。