Kafka版本升级

Kafka2.1.0版本升级2.2.1

下载kafka安装包

地址:http://kafka.apache.org/downloads

方案一：

接受停机升级

关闭旧版本的kafka，然后按照正常步骤启动新版kafka
版本，然后升级后台所有涉及kafka的模块；
优点：过程简单，无突发异常，只有正常启动新版本即可使用；
不足：关闭老版本，启动新版本的过程中，存在部分线上数据丢失的情况，此种情况推荐在凌晨数据量少的时候使用；

(1) 上传新版kafka安装包到需要升级的kafka节点并解压

tar -zxvf kafka_2.12-2.2.1.tgz -C /opt/kafka/

(2) 停止旧版kafka2.1.0集群

cd /opt/kafka/kafka_2.12-2.1.0/bin

./kafka-server-stop.sh stop

(3) 将旧版kafka2.1.0各节点的conf配置文件夹覆盖到对应的新版kafka2.2.1文件中

cd /opt/kafka/kafka_2.12-2.1.0

cp -r config/ ../kafka_2.12-2.2.1/

(4) 启动新版kafka2.2.1集群

cd /opt/kafka/kafka_2.12-2.1.0/bin

./kafka-server-start.sh -daemon /opt/kafka/kafka_2.12-2.2.1/config/server.properties

方案二：

使用滚动升级方案，参考

https://www.cnblogs.com/gxyandwmm/p/11898345.html

kafka相关命令

停止kafka：

./bin/kafka-server-stop.sh stop

启动kafka：

./bin/kafka-server-start.sh -daemon /kafka_2.12-2.2.1/config/server.properties

创建topic：

./bin/kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 3 --partitions 3 --topic test1

查看topic:

./bin/kafka-topics.sh --list --zookeeper ip:2181

kafka生产者:

./bin/kafka-console-producer.sh --broker-list ip:9092 --topic test1 

Kafka消费者:

./bin/kafka-console-consumer.sh --bootstrap-server ip:9092 --from-beginning --topic test1