Kafka 安装教程

目次

媒介
一、安装前的准备
1. 体系要求
2. 安装 JDK
3. 下载 Kafka
二、设置 Kafka
1. 设置 Zookeeper
2. 设置 Kafka Broker
3. 分发Kafka安装包
4. 设置情况变量（xcall.sh）
三、启动 Kafka 和 Zookeeper
四、测试 Kafka
1. 创建 Topic
2. 生产消息
3. 消耗消息
五、总结

---

媒介

Kafka 是一种高性能、分布式的消息队列体系，广泛应用于大数据及时处置惩罚场景中。本文将具体先容如安在 Linux 情况中安装和设置 Kafka，渴望对初学者有所资助。
一、安装前的准备

1. 体系要求

• 利用体系：本文以 CentOS 7 为例，其他 Linux 体系安装步调雷同。
  
• Java 情况：Kafka 依赖 Java 运行情况，必要先安装 JDK。
  
• Zookeeper: Kafka 依赖 Zookeeper 举行分布式调和。Zookeeper 可以单独安装，也可以利用 Kafka 内置的 Zookeeper 服务。
  

2. 安装 JDK

• 查抄是否安装 JDK：java -version
  
• 假如没有安装，可自行安装 JDK。
  

3. 下载 Kafka

• 进入 Kafka 官方下载页面：Kafka 下载页面。
  
• 选择符合的 Kafka 版本（好比最新稳固版），复制下载链接。
  
• 下载 Kafka。
  
• 解压文件：
  1. cd /opt/moudles
  2. tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/installs/

  复制代码
• 修改解压后的文件名称：
  1. mv kafka_2.12-3.0.0/ kafka3
  2. # 版本号解读：2.12 是scala版本，3.0.0是kafka版本

  复制代码

二、设置 Kafka

Kafka 重要有两个设置文件：server.properties 和 zookeeper.properties。
1. 设置 Zookeeper

Kafka 依赖 Zookeeper 举行分布式调和。Zookeeper 的设置文件位于 config/zookeeper.properties。(安装Zookeeper时已设置）
2. 设置 Kafka Broker

Kafka Broker 的设置文件位于 config/server.properties。

• 打开设置文件：
  1. vi /opt/install/kafka3/config/server.properties

  复制代码
• 修改 broker.id（每个 Kafka 节点必要一个唯一的 ID）：
  1. broker.id=0

  复制代码
• 设置毗连 Zookeeper 集群所在（在 zk 根目次下创建/kafka，方便管理）：
  1. zookeeper.connect=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
  2. # /kafka的意思是：在zk中创建一个文件夹叫做kafka

  复制代码
• 设置日记存储路径：
  1. log.dirs=/opt/installs/kafka3/datas

  复制代码

3. 分发Kafka安装包

1. xsync.sh /opt/install/kafka3/
2. # 分别在 bigdata02 和 bigdata03上修改配置文件/opt/installs/kafka/config/server.properties 中的 broker.id=1、broker.id=2
3. # 注：broker.id 不得重复，整个集群中唯一。

复制代码

4. 设置情况变量（xcall.sh）

1. # 修改bigdata01的环境变量
2. export KAFKA_HOME=/opt/installs/kafka3
3. export PATH=$PATH:$KAFKA_HOME/bin
5. # 分发一下：
6. xsync.sh /etc/profile
8. # 刷新环境变量
9. xcall.sh source /etc/profile

复制代码

三、启动 Kafka 和 Zookeeper

• 启动 Zookeeper：
  1. xcall.sh zkServer.sh start
  2. # 或者使用脚本zk.sh start

  复制代码
• 启动 Kafka：
  1. # 依次在 bigdata01、bigdata02、bigdata03 节点上启动 Kafka，先进入到kafka3 这个文件夹中
  3. bin/kafka-server-start.sh -daemon config/server.properties
  5. # 关闭指令
  6. bin/kafka-server-stop.sh

  复制代码

利用 jps 下令查察历程，确保 Zookeeper 和 Kafka 都已乐成启动。
四、测试 Kafka

1. 创建 Topic

1. bin/kafka-topics.sh --bootstrap-server bigdata01:9092 --create --partitions 1 --replication-factor 3 --topic first

复制代码

2. 生产消息

1. bin/kafka-console-producer.sh  --bootstrap-server bigdata01:9092 --topic first

复制代码

输入消息内容，然后回车发送。
3. 消耗消息

打开另一个终端，输入以下下令吸取消息：

1. bin/kafka-console-consumer.sh --bootstrap-server bigdata01:9092 --topic first

复制代码

五、总结

至此，我们乐成在 Linux 体系上安装并设置了 Kafka，并举行了简单的消息收发测试。