构建篇

1.windows

1.1前提准备，基于zookeeper下kafka源码构建启动

前提条件	版本	注意
jdk	21
scala	2.12.8
gradle	8.10.2
zookeeper	3.8.5	这里有坑，zookeeper要和kafka的版本匹配，不然启动不报错，但是实际会没起起来
kafka	3.9.1.-rc2

开源镜像地址下载zookeeper,阿里镜像下载地址-zookeeper-3.8.5，直接用windows解压会报错，使用tar -zxvf解压

tar -zxvf apache-zookeeper-3.8.5-bin.tar.gz

#进入 conf目录
mv zoo_sample.cfg zoo.cfg

#修改zoo.cfg下的dataDir，配置路径
dataDir=D:/sourceCode/zookeeper/data

windows环境直接双击zkServer.cmd启动

1.2.本地构建kafka源码

先去github，gitclone源码地址

可以先git切换到对应的分支，然后在idea中导入kafka

我建议先用命令行执行构建，从我的个人使用上来说，更快

./gradlew clean build -x test

在core模块下的scala的kafka的main方法里面添加日志，方便观察

println(">>>Starting Kafka<<<")

1.3脚本验证

验证kafka topic list

./kafka-topics.sh --list --bootstrap-server 127.0.0.1:9092

创建topic

./kafka-topics.sh --create --bootstrap-server 127.0.0.1:9092 --replication-factor 1 --partitions 1 --topic test

1.4异常提示

> Task :core:Kafka.main()
>>>Starting Kafka<<<
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
SLF4J: Failed to load class "org.slf4j.impl.StaticMDCBinder".
SLF4J: Defaulting to no-operation MDCAdapter implementation.
SLF4J: See http://www.slf4j.org/codes.html#no_static_mdc_binder for further details.

不管千问，Stack Overflow等去查，都不太能找到问题。最后还是回归到这个提示。

答案藏在：http://www.slf4j.org/codes.html#StaticLoggerBinder 上

开篇第一段就提示了：

Placing one (and only one) of the many available providers such as slf4j-nop.jar slf4j-simple.jar, slf4j-reload4j.jar, slf4j-jdk14.jar or logback-classic.jar on the class path will solve the problem.

替换slf4j-nop.jar slf4j-simple.jar, slf4j-reload4j.jar, slf4j-jdk14.jar 其中之一就可以了，于是我们可以在kafka源码下的gradle文件夹下dependencies.gradle的version[]配置下添加

log4j_fix: "1.7.36"

在libs+[]配置下添加

log4jFix:"org.slf4j:slf4j-log4j12:$versions.log4j_fix"

然后在build.gradle文件，找到project(':core')配置，添加以下配置

implementation libs.log4jFix

这里补充下gradle的内容，因为之前都是用maven居多，gradle没有系统的学习过。所以implementation 和compile，compileOnly很多时间经常忘记。

配置项	编译时可用	运行时可用	依赖传递性（下游模块是否可见）	是否废弃	核心特点
compile	✅	✅	✅（完全暴露）	gradle> 4.0 废弃	旧版核心配置，耦合度高
compileOnly	✅	❌	❌（完全隐藏）	否	仅编译阶段需要，不打包
implementation	✅	✅	❌（隐藏）	否	新版核心配置，低耦合、高性能

1.5启动kafka

然后找到源码下，core模块，scala文件夹下的kafka，点击启动