linux环境配置kafka
下载软件
首先先下载kafka的包，kafka是apache基金会的一部分，官网下载
我原本下载的是最新的3.6.0，但是部署时发生了错误，所以回退到了2.6.0版本
安装包名：kafka_2.13-2.6.0.tgz，其中2.13是scala版本，因为kafka是用scala语言写的，2.6.0是kafka的版本
tar -xvzf kafka_2.13-2.6.0.tgz
把压缩包放到local目录解压
然后cd进入
cd kafka_2.13-2.6.0
可以看到压缩包内总共有这些内容：
其中etc是我新建的，不属于压缩包
bin里都是.sh文件，存放kafka的常用脚本
config里都是.properties文件，存放kafka的常用配置文件
libs里是kafka的依赖
LICENSE是kafka的许可证文件
logs里存放的是kafka执行后产生的日志文件，也不属于压缩包
NOTICE是kafka的声明文件
site-docs里是kafka相关文档的压缩包
配置环境
配置环境主要就是修改config目录里的几个配置文件
为了方便存档和复原，我这里不直接修改config中的文件，而是把配置文件复制到新建的etc目录，再修改etc中的properties
实际生产应该在不同机器上分别部署kafka，我这边在一台机器上部署三个broker，进行伪分布式部署
kafka集群需要使用zookeeper进行管理（2.8.0后已经不需要了，这里版本是2.6.0），所以除了kafka以外还需要进行zookeeper的配置。
那要复制的配置文件就是：
- zookeeper配置
- server配置*3
把相关的配置文件复制到etc目录
由于我是在同一台机器上部署三个broker，每个broker都需要自己的配置文件，所以server的配置文件总共要复制三份
cd config cp zookeeper.properties ../etc/zookeeper.properties cp server.properties ../etc/server-0.properties cp server.properties ../etc/server-1.properties cp server.properties ../etc/server-2.properties
然后修改配置文件
zookeeper.properties可以保持不变
三个server.properties是类似的
cd ../etc vim zookeeper.properties vim server-0.properties
broker.id分别设为0、1、2
#listeners=PLAINTEXT://:9092 这一行注释去掉，端口分别设为9092、9093、9094
下面log.dirs=/tmp/kafka-logs分别修改为log.dirs=/tmp/kafka-logs-0、log.dirs=/tmp/kafka-logs-1、log.dirs=/tmp/kafka-logs-2
保存退出
etc目录现在一共四个文件，都已经配置好了
启动kafka
首先启动zookeeper
cd ../bin ./zookeeper-server-start.sh ../etc/zookeeper.properties
然后在三个新窗口分别启动三个server
./kafka-server-start.sh ../etc/server-0.properties ./kafka-server-start.sh ../etc/server-1.properties ./kafka-server-start.sh ../etc/server-2.properties
在新窗口新建topic “test”
./kafka-topics.sh --zookeeper localhost:2181 --create --topic test --partitions 3 --replication-factor 2
创建一个消费者
./kafka-console-consumer.sh --bootstrap-server localhost:9092 localhost:9093 localhost:9094 --topic test
在新窗口创建一个生产者
./kafka-console-producer.sh --broker-list localhost:9092 localhost:9093 localhost:9094 --topic test
然后我们在生产者发送的消息都能被消费者接收到
