【可视化工具】Kafka-Offset Explorer使用
摘要:本文介绍了OffsetExplorer(原Kafka Tool)GUI工具在Windows 10环境下的安装配置及使用。该工具支持Kafka 2.0.0集群管理,提供主题查看、消息内容浏览、偏移量监控等功能。重点说明了SASL_PLAINTEXT安全配置、JAAS认证设置,以及通过修改启动参数文件实现Kerberos认证。最后演示了如何查看Topic分区信息和消费数据,包括选择消费起始位置、
目录
Offset Explorer(以前称为Kafka Tool)是一个用于管理和使Apache Kafka ®集群的GUI应用程序。它提供了一个直观的UI,允许人们快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的功能。
一些关键功能包括:
- 快速查看所有Kafka集群,包括它们的代理、主题和消费者
- 查看分区中的消息内容并添加新消息
- 查看消费者的偏移量,包括Apache Storm Kafka spout消费者
- 以漂亮的打印格式显示JSON、XML和Avro消息
- 添加和删除主题以及其他管理功能
- 将分区中的单个消息保存到本地硬盘驱动器
- 编写您自己的插件,允许您查看自定义数据格式
- Offset Explorer在Windows、Linux和Mac OS上运行
二、环境信息
系统环境:windows 10
Offset explorer版本:2.2
Kafka版本:Kafka2.0.0

三、安装和使用
3.1 下载Offset Explorer 和安装
百度网盘下载地址:https://pan.baidu.com/s/1KiwclgsCAxuobN4CARSMPQ?pwd=fgmy
下载地址:Offset Explorer

下载到本地的 .exe文件

Next

accept Next

安装路径 ,Next

Next

Finish

3.2 软件配置
3.2.1Properties
下载安装完毕,进行新增连接,启动offsetexplorer.exe,在Add Cluster窗口Properties 选项下填写Cluster name 和 kafka Cluster Version等参数信息。
- 集群名称:可随意填写;
- 集群版本:需要确认,不同版本之间差异大;
- zookeeper所在的服务器ip地址:
- 端口;

3.2.2Properties
配置安全项,根据自己环境选择选择,我的环境是SASL_PLAINTEXT,下面选择SASL_PLAINTEXT即可。
SASL_PLAINTEXT:使用SASL框架来做认证和数据加密,使用明文传输数据
SASL_SSL:使用SASL框架来做认证和数据加密,使用SSL加密传输数据


3.2.3Advanced
Bootstrap servers:配置自己的kafka的broker地址
SASL Mechanism: 填写GSSAPI(这里表示SASL的实现,GSSAPI是一套接口,现在只有Kerberos v5实现了这个接口;这里实际就是指的是Kerberos)


3.2.4 JAAS config
如果不是使用GSSAPI可以参考官网;否则有两种方法,第一种命令行启动添加配置,第二种修改配置文件;
我们 JAAS 也可以不用配置 直接用参数 添加到 offsetexplorer.exe 启动命令后面。
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
client=true
serviceName="kafka"
keyTab="D:/work/winner/kerberos/kafka/kafka.service.keytab"
principal="kafka/hdp103@WINNER.COM";

update 配置后 cd 到 offsetexplorer 的安装目录,添加启动参数 krb5.conf。
offsetexplorer.exe -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/krb5.conf
JAAS 中没有配置可以 在启动参数中添加 JAAS.conf 路径。
offsetexplorer.exe -J-Djava.security.auth.login.config=D:/work/winner/kerberos/kafka/kafka_client_winner_jaas.conf -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/kafka.service.keytab -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/krb5.conf
3.2.5修改配置文件
找到offset explorer安装目录,然后打开offsetexplorer.vmoptions文件,在末尾添加如下信息(保存关闭,以后每次启动都会生效,如果访问其他KDC集群,请修改配置然后重启):

3.3 基本使用
3.3.1查看topic分区列表及分区leader位置信息

3.3.2查看数据
kafka成功连接之后可以看到该kafka的Topics信息,如果是集群kafka,可以看到集群下所有节点的信息。
- 打开某一个topic,点击Data查看数据,一开始是没有数据的;
- 选择消费方式,是从开始消费还是从最新开始消费;
- 选消费方式后,点击左上角的“绿色三角符号” 播放按钮才会展示数据,可设置查询的条数。
列表分别展示:消息所属的partition(分区) , offset(偏移量), message(消息数据),timestamp(数据生成时间戳),
选中具体数据后,查看下方面板

————————————————
参考链接
更多推荐



所有评论(0)