5.1 拦截器原理
Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的,主要用于实现producer clients 端的定制化控制逻辑。
对于 producer 而言,interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会对消息做一些定制化需求,比如
同时,producer允许用户指定多个 interceptor 按序作用于同一条消息从而形成一个拦截链(interceptor chain)。
Intercetpor 的实现接口是org.apache.kafka.clients.producer.ProducerInterceptor
,其定义的方法包括:
configure(configs)
获取配置信息和初始化数据时调用。
onSend(ProducerRecord)
: 该方法封装进KafkaProducer.send
方法中,即它运行在用户主线程中。Producer 确保在消息被序列化以及计算分区前调用该方法。
用户可以在该方法中对消息做任何操作,但
最好保证不要修改消息所属的 topic 和分区 ,否则会影响目标分区的计算onAcknowledgement(RecordMetadata, Exception)
:该方法会在消息被应答或消息发送失败时调用 ,并且通常都是在 producer 回调逻辑触发之前。onAcknowledgement
运行在 producer 的 IO 线程中,因此不要在该方法中放入很重的逻辑,否则会拖慢 producer 的消息发送效率close
:关闭 interceptor,主要用于执行一些资源清理工作
如前所述,interceptor 可能被运行在多个线程中,因此在具体实现时用户需要自行确保线程安全。
另外倘若