python kafka offset自动提交_Spring-Kafka —— 实现批量消费和手动提交offset

spring-kafka的官方文档介绍，可以知道自1.1版本之后，

@KafkaListener开始支持批量消费，只需要设置batchListener参数为true

把application.yml中的enable-auto-commit设置为false,设置为不自动提交

@Bean

public KafkaListenerContainerFactory> batchFactory(ConsumerFactory consumerFactory){

ConcurrentKafkaListenerContainerFactory factory =

new ConcurrentKafkaListenerContainerFactory<>();

factory.setConsumerFactory(consumerFactory);

factory.setConcurrency(10);

factory.getContainerProperties().setPollTimeout(1500);

factory.setBatchListener(true);//设置为批量消费，每个批次数量在Kafka配置参数中设置

factory.getContainerProperties().setAckMode(ContainerProperties.AckMode.MANUAL_IMMEDIATE);//设置手动提交ackMode

return factory;

}

//批量消息

@KafkaListener(topics = {"first_top"},containerFactory="batchFactory")

public void consumerBatch(List> records, Acknowledgment ack){

log.info("接收到消息数量：{}",record.size());

//手动提交

ack.acknowledge();

}

这里containerFactory = “batchFactory”要指定为批量消费

Spring-Kafka —— 消费后不提交offset情况的分析总结

最近在使用kafka,过程中遇到了一些疑问,在查阅了一些资料和相关blog之后,关于手动提交offset的问题,做一下总结和记录. 消费端手动提交offset代码如下: /** * 这是手动提交的消费 ...

关于SpringKafka消费者的几个监听器&colon;&lbrack;一次处理单条消息和一次处理一批消息&rsqb;以及&lbrack;自动提交offset和手动提交offset&rsqb;

自己在使用Spring Kafka 的消费者消费消息的时候的实践总结: 接口 KafkaDataListener 是spring-kafka提供的一个供消费者接受消息的顶层接口,也是一个空接口; pu ...

spring-kafka手动提交offset

<?xml version="1.0" encoding="UTF-8"?>

去除console&period;log&lpar;&rpar;打印语句

打印语句:console.log() ,一句话描述它! “用的时候感觉贼爽,不用的时候脑袋痛吧?” 以下提供三种解决方案: 一. webpack打包时去除,适合Vue项目 二. vscode正则匹配, ...

解决：People下面选择分享可见联系人，选择多个联系人后通过短信分享，短信中只显示一个联系人

问题描述: [操作步骤]:People下导入导出中选择分享可见联系人,选择多个联系人后通过短信分享 [测试结果]:短信中只能显示一个联系人 [预期结果]:可以显示多个联系人 经过代码分析,从compo ...