做pc端网站代理商建行门户网站

做pc端网站代理商,建行门户网站,上海网站建设公司页溪网络,网站兼容哪些浏览器一、背景kafka消息总量10亿/天#xff0c;每分钟生成70万条消息#xff0c;生成环境部署了12个服务#xff0c;消费2个Topic#xff0c;每个Topic部署12个分区二、现象问题消费者方面1、单个服务#xff0c;同时消费2个不同Topic的2个分区#xff0c;一个分区消费正常每分钟生成70万条消息生成环境部署了12个服务消费2个Topic每个Topic部署12个分区二、现象问题消费者方面1、单个服务同时消费2个不同Topic的2个分区一个分区消费正常一个分区停止消费异常分区的Lag出现积压出现异常没有时间规律。2、消费者的配置参数如下图kafka服务器方面1、查询消费组状态发现Topic的分区4发生积压2、在此期间kafka、zk的集群状态正常服务端日志无相关报错信息3、积压恢复后相关日志排查发现消费者ID(consumer-3-5b6d2a-6989-377409)在过程中无法继续发送心跳被判断为消费者已经下线从该消费组中移除。如果消费者下线一段时间后在这期间没有其他消费者从该分区中消费消息那Lag将发生积压。三、排查思路和过程1、查看资料消费者配置参数(max.poll.interval.ms)设置为10分钟此参数的作用定义了消费者处理单个调用poll()方法的最大时间如果在此时间内未调用poll()则kafka服务器会认为消费者已经死亡并将其标记为离线同时触发rebalance将分区进行重新分配但是实际情况是kakfa服务器没有出发rebalance造成分区没有被其他正常消费者继续消费最终导致分区消息积压。四、分析总结1、经过不断尝试验证以及出问题前后时间节点上各个方面的调整分析最后初步判断是kafka服务器版本升级后不兼容springboot kafka clietn版本导致于是升级将spring-kafka从2.3.7升级到2.4.1同时建kafka-clients升级到2.4.1问题解决。