Kafka集群保姆级部署教程

今天给大家分享的是Kafka分布式集群部署，上次分享的单机版的kafka用于个人测试环境的话还好，但是生产环境就不建议了，生产环境还是建议部署分布式集群。

畅云客

3197人浏览 · 2024-06-19 10:00:00

畅云客 · 2024-06-19 10:00:00 发布

资源列表

操作系统	配置	主机名	IP
CentOS7.9.2009	2C4G	kafka01	192.168.207.131
CentOS7.9.2009	2C4G	kafka02	192.168.207.165
CentOS7.9.2009	2C4G	kafka03	192.168.207.166

基础环境

修改主机名

hostnamectl set-hostname kafka01
hostnamectl set-hostname kafka02
hostnamectl set-hostname kafka03

关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

关闭selinux

setenforce 0

sed -i "s/.*SELINUX=.*/SELINUX=disabled/g" /etc/selinux/config

安装JAVA

部署Kafka环境是需要JAVA环境的，所以我们先安装JAVA

yum -y install java-1.8.0-openjdk

安装Kafka

下载Kafka

https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz

解压

tar -xzf kafka_2.11-1.0.0.tgz
cd kafka_2.11-1.0.0

修改配置文件

kafka01

[root@kafka01 kafka_2.13-3.7.0]# vi config/server.properties

# 修改大约第24行左右，每个节点的这个id都不一样
broker.id=1

# 修改大约第34行左右，取消注释修改为自己的IP
listeners=PLAINTEXT://192.168.207.131:9092

# 修改大约第125行左右，写自己的zk集群地址，zk一般都是和kafka同节点，所以直接修改为3个节点的IP
zookeeper.connect=192.168.207.131:2181,192.168.207.165:2181,192.168.207.166:2181

kafka02

[root@kafka02 kafka_2.13-3.7.0]# vi config/server.properties

# 修改大约第24行左右，每个节点的这个id都不一样
broker.id=2

# 修改大约第34行左右，取消注释修改为自己的IP
listeners=PLAINTEXT://192.168.207.165:9092

# 修改大约第125行左右，写自己的zk集群地址，zk一般都是和kafka同节点，所以直接修改为3个节点的IP
zookeeper.connect=192.168.207.131:2181,192.168.207.165:2181,192.168.207.166:2181

kafka03

[root@kafka03 kafka_2.13-3.7.0]# vi config/server.properties

# 修改大约第24行左右，每个节点的这个id都不一样
broker.id=3

# 修改大约第34行左右，取消注释修改为自己的IP
listeners=PLAINTEXT://192.168.207.166:9092

# 修改大约第125行左右，写自己的zk集群地址，zk一般都是和kafka同节点，所以直接修改为3个节点的IP
zookeeper.connect=192.168.207.131:2181,192.168.207.165:2181,192.168.207.166:2181

启动服务

启动ZK

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

启动Kafka

bin/kafka-server-start.sh -daemon config/server.properties

验证测试

创建topic

让我们创建一个名为“test”的topic，它有一个分区和一个副本：

# --replication-factor指定副本数
# --partitions指定分区数
bin/kafka-topics.sh --create --bootstrap-server 192.168.207.131:9092 --replication-factor 1 --partitions 1 --topic test

查看topic

现在我们可以运行list（列表）命令来查看这个topic

bin/kafka-topics.sh --list --bootstrap-server 192.168.207.131:9092

2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

【车间调度】基于非支配排序遗传算法NSGAII的柔性作业车间调度问题研究（Matlab代码实现）

柔性作业车间调度问题（Flexible Job Shop Scheduling Problem, FJSP）是传统作业车间调度问题的拓展，具有更高的复杂性和灵活性。NSGA-II作为一种有效的多目标优化算法，在解决FJSP方面展现出强大的能力。本文详细探讨了NSGA-II在FJSP中的应用，包括算法原理、染色体编码、交叉变异操作、实验设计与结果分析等，旨在为实际生产调度提供有效的解决方案。