Linux——部署kafka

背景，新的项目，需要通过kafka消费平台给推送的告警消息！个人负责消费消息并过滤消息入库！平台那边由于网络问题，没法本地测试用，所以在公司云平台需要搭建一个kafka服务用于本地试！kafka的安装需要依赖于jdk，需要在服务器上提前安装好该环境！

部署步骤

2.上传到服务器（自己新建个目录）

3.解压

tar -zxvf 你的压缩包名

4.配置kafka

找到如下配置，去掉注释，换成自己机器的ip
这里需要注意
不要localhost，不然本地测试连不上kafka

其他配置基本不用改

5.运行kafka

kafka需要有zookeeper分布式调度组件的支持，先启动Zookeeper，如果没有Zookeeper，可以使用kafka自带打包和配置好的Zookeeper

启动命令执行位置在kafka的目录中

nohup bin/zookeeper-server-start.sh config/zookeeper.properties > 
zookeeper-run.log 2>&1 &

在执行jps命令
看到下图的界面启动成功，也可以使用netstat -ant |grep 2181 查看端口占用情况

再启动kafka

启动命令

nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &

在执行jps命令
如下图所示kafka启动成功

测试kafka

1.创建topic

创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看topic

bin/kafka-topics.sh -list -zookeeper  localhost:2181

2.创建生产者和消费者

创建kafka生产者：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

创建kafka消费者：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic
test --from-beginning

设置kafka消费组名：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic 
test --from-beginning --consumer-property group.id=test-group

如下图所示可以正常消费

重启kafka

杀掉zk进程和kafka进程，重新执行上面的命令

关于队列还有很多东西，包括消息持久性，丢失消息，组，topic概念，集群等等！等做完这个项目后边在统一学习一下，现在就是一个简单的demo！