打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
kafka查看消费了多少条数据
storm jar接收程序,如果指定了forceFromStart=false,则从最新的数据开始读,最新是指多长时间的,有具体的参数设置
如果指定了为true,则从最老的数据开始消费。


如何查看目前的消费者是否已经读到最新的数据:


kafka-run-class.sh kafka.tools.ConsumerOffsetChecker
#kafka查看topic各个分区的消息的信息
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group **  --topic ***  --zookeeper *:2181,*:2181,*:2181/kafka
--zookeeper 那里是指kafka在zk中的path,即使zk有多个机器,如果在其中一台上执行此命令,显示连接不上,只写那台机器的地址端口+kafka的path即可
指定自己的分组 自己消费的topic会显示kafka总共有多少数据,以及已经被消费了多少条
结果:
GROUP     TOPIC     PID       OFFSET             LOGSIZE   LAG
消费者组  话题id    分区id    当前已消费的条数   总条数    未消费的条数



注意:以kafkaspout类作为消费者去读kafka数据,相当于直接从kafka server上取文件,没有消费者组的概念
每次读的数据存在自己zk的offet中
所以不能通过上述命令查看






本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
Kafka原理和实践
消息中间件架构讨论
520疯狂之后我彻底蒙了,老板让我做技术选型,数据处理选kafka还是RocketMQ?
消息队列的作用以及kafka和activemq的对比
小白学习Kafka(一):初识
再见,Kafka!再见,RocketMQ!
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服