打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
解决CDH6.2中的kafka消费不到数据问题

被这个问题坑了很久,终于灵光一闪解决了这个问题。顺便记录一下。

 需要设置--chroot,我设置成:/kafka

设置如下图:(名称随便取吧),重新部署问题解决

问题分析:

在按照帮助文档一步一步实现了创建topic ,创建生产者,创建消费者后。发现生产者发送的消息,消息者竟然收不到。因为过于相信CDH默认配置。首先也没想到哪里默认配置有问题,事实上配置太多也不知道如何下手。

后来下载了Kafka安装包,本地搭建了kafka单节点,一步一步做下来发现一切OK。于是感觉是ZOOKEEPER的问题。

把ZOOKEEPER的配置撸了一遍,发现还是不行。kafka的配置各种对比也没发现异样。

无奈看一下官网说明

zookeeper.chroot=/kafka

乍一看,觉得是权限问题,可能是出于安全考虑需吧。深入的研究还在继续...

topic 都从0创建到8了。内心崩溃

附上命令:注意主机名,注意端口和参数

创建topoic

kafka-topics --create --partitions 1 --replication-factor 1 --zookeeper cdh.cn:2181/kafka --topic test8

查看创建的topic

kafka-topics --list --zookeeper cdh.cn:2181/kafka

启动生产者

kafka-console-producer --broker-list cdh.cn:9092 --topic test8

启动消费者

kafka-console-consumer --bootstrap-server cdh.cn:9092 --topic test8 group tg1 --from-beginning 

最终效果:

在生产者中发送消息。消费者中打印出数据

官方说明:

https://www.cloudera.com/documentation/enterprise/6/6.2/topics/kafka_clients.html

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
Apache Kafka:下一代分布式消息系统
谁再问我 Kafka,我把这 43 张图甩给他
Kafka系列1:Kafka概况
Kafka原理详解
kafka报Commit cannot be completed since the group has already rebalanced
扎心了!面试官:你都工作三年了,怎么连消息中间件都没有接触过啊
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服