kafka

Kafka介绍及安装部署

本节内容：

• 消息中间件
• 消息中间件特点
• 消息中间件的传递模型
• Kafka介绍
• 安装部署Kafka集群
• 安装Yahoo kafka manager
• kafka-manager添加kafka cluster

一、消息中间件

消息中间件是在消息的传输过程中保存消息的容器。消息中间件在将消息从消息生产者到消费者时充当中间人的作用。队列的主要目的是提供路由并保证消息的传送；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它为止，当然，消息队列保存消息也是有期限的。

二、消息中间件特点

1. 采用异步处理模式
消息发送者可以发送一个消息而无须等待响应。消息发送者将消息发送到一条虚拟的通道（主题或者队列）上，消息接收者则订阅或者监听该通道。一条消息可能最终转发给一个或多个消息接收者，这些接收者都无需对消息发送者做出同步回应。整个过程是异步的。

• 比如用户信息注册。注册完成后过段时间发送邮件或者短信。

2. 应用程序和应用程序调用关系为松耦合关系

• 发送者和接收者不必要了解对方、只需要确认消息
• 发送者和接收者不必同时在线

比如在线交易系统为了保证数据的最终一致，在支付系统处理完成后会把支付结果放到信息中间件里通知订单系统修改订单支付状态。两个系统通过消息中间件解耦。

三、消息中间件的传递模型

1. 点对点模型(PTP)
点对点模型用于消息生产者和消息消费者之间点对点的通信。消息生产者将消息发送到由某个名字标识的特定消费者。这个名字实际上对应于消费服务中的一个队列(Queue)，在消息传递给消费者之前它被存储在这个队列中。队列消息可以放在内存中也可以是持久的，以保证在消息服务出现故障时仍然能够传递消息。
点对点模型特性：

• 每个消息只有一个消费者
• 发送者和接受者没有时间依赖
• 接受者确认消息接受和处理成功

2. 发布—订阅模型(Pub/Sub)

发布者/订阅者模型支持向一个特定的消息主题生产消息。0或多个订阅者可能对接收来自特定消息主题的消息感兴趣。在这种模型下，发布者和订阅者彼此不知道对方。这种模式好比是匿名公告板。这种模式被概括为：多个消费者可以获得消息。在发布者和订阅者之间存在时间依赖性。发布者需要建立一个订阅(subscription)，以便能够让消费者订阅。订阅者必须保持持续的活动状态以接收消息，除非订阅者建立了持久的订阅。在这种情况下，在订阅者未连接时发布的消息将在订阅者重新连接时重新发布。
其实消息中间件，像MySQL其实也可以作为消息中间件，只要你把消息中间件原理搞清楚，你会发现目前所有的存储，包括NoSQL，只要支持顺序性东西的，就可以作为一个消息中间件。就看你怎么去利用它了。就像redis里面那个队列list，就可以作为一个消息队列。
发布—订阅模型特性：

• 每个消息可以有多个订阅者
• 客户端只有订阅后才能接收到消息
• 持久订阅和非持久订阅

(1) 发布者和订阅者有时间依赖

接收者和发布者只有建立订阅关系才能收到消息。

(2) 持久订阅

订阅关系建立后，消息就不会消失，不管订阅者是否在线。

(3) 非持久订阅

订阅者为了接收消息，必须一直在线

当只有一个订阅者时约等于点对点模式。

大部分情况下会使用持久订阅。常用的消息队列有Kafka、RabbitMQ、ActiveMQ、metaq等。

四、Kafka介绍

Kafka是一种分布式消息系统，由LinkedIn使用Scala编写，用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础，具有高水平扩展和高吞吐量。

目前越来越多的开源分布式处理系统如Apache flume、Apache Storm、Spark、Elasticsearch都支持与Kafka集成。

五、安装部署Kafka集群

1. 环境信息

主机名	操作系统版本	IP地址	安装软件
log1	CentOS 7.0	114.55.29.86	JDK1.7、kafka_2.11-0.9.0.1
log2	CentOS 7.0	114.55.29.241	JDK1.7、kafka_2.11-0.9.0.1
log3	CentOS 7.0	114.55.253.15	JDK1.7、kafka_2.11-0.9.0.1

2. 安装JDK1.7

3台机器都需要安装JDK1.7。

[root@log1 local]# mkdir /usr/java
[root@log1 local]# tar zxf jdk-7u80-linux-x64.gz -C /usr/java/
[root@log1 local]# vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
[root@log1 local]# source /etc/profile

 

3. 安装集群

需要先安装好Zookeeper集群，见之前的文章《Zookeeper介绍及安装部署》。

（1）创建消息持久化目录

[root@log1 ~]# mkdir /kafkaLogs

（2）下载解压kafka，版本是kafka_2.11-0.9.0.1

[root@log1 local]# wget http://mirrors.cnnic.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
[root@log1 local]# tar zxf kafka_2.11-0.9.0.1.tgz

（3）修改配置

[root@log1 local]# cd kafka_2.11-0.9.0.1/config/
[root@log1 config]# vim server.properties