kafka的安装和简单概念

一.传统的消息通信方式
      a.Socket通信协议
         缺点：服务器端和客户端必须同时在线；传输大量数据时，数据完全不完备，对网络要求极高。
      b.文件服务器(ftp)
         缺点：实时性比较差；本地磁盘IO读写；
      c.共享数据库方式(Database)
         缺点：系统间访问共享数据库比较难实现：1.据库连接池有限的；2.因业务需求很难将数据库共享；
      d.JMS(Java Message Services)协议
         缺点：具体相关业务的需求
      
二：kafka消息队列
         系统解耦、削峰填谷、定时任务、异步通知等等
三：kafka
　　1.定义：kafka是用于构建实时数据管道和流媒体应用，它是水平扩展的，容错的，快速的。
　　2.相关概念：
　　　　Broker：kafka集群包含一个或多个服务器，这种服务器被称作broker。
　　　　Topic：每条发布到kafka集群的消息队列都有一个类别，这种类别被称为topic。物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然存在一个或多个broker上，但用户只需指定消息的topic即可生产和消费数据而不必关心数据存在何处。
　　　　Partition：partition是物理上的概念，每个topic包含一个或多个partition，创建topic时可以指定partition数量，每个partition对应一个文件夹，该文件夹存储该partition的数据和索引文件。
　　　　Producer：负责发布信息到kafka broker
　　　　Consumer：消费信息
　　3.安装
　　　　a.安装kafka_2.10-0.10.0.1.tgz

       b.复制至{/home/hyxy/soft}
          $>cp /mnt/hgfs/2.安装环境/download/apache-kafka/kafka_2.10-0.10.0.1.tgz /home/hyxy/soft/
       c.解压
          $>tar -zxvf kafka_2.10-0.10.0.1.tgz 
	  $>rm kafka_2.10-0.10.0.1.tgz 
          $>ln -s kafka_2.10-0.10.0.1/ kafka
       d.修改环境变量，追加
          $>gedit ~/.bash_profile
		#Kafka install
		export KAFKA_HOME=/home/hyxy/soft/kafka
		export PATH=$KAFKA_HOME/bin:$PATH
          $>source ~/.bash_profile
四：单节点，单Broker集群

　　1.开启zookeeper
      $>zookeeper-server-start.sh /home/hyxy/soft/kafka/config/zookeeper.properties 
      $>jps
	4264 Jps
	3178 QuorumPeerMain
    2.开启Broker
      参照{KAFKA_HOME/config/server.properties}
         broker.id=0                           //必须为整数;brokerID理解为分区号
         log.dirs=/home/hyxy/tmp/kafka-logs    //消息存放位置
         zookeeper.connect=localhost:2181      //注册zookeeper
      $>kafka-server-start.sh /home/hyxy/soft/kafka/config/server.properties
      $>jps
	3424 Kafka
	4264 Jps
	3178 QuorumPeerMain
    3.创建主题：
      $>kafka-topics.sh --create --topic test --zookeeper localhost:2181 --partitions 1 --replication-factor 1
      reated topic "test".
      $>zkCli.sh
      [zk: localhost:2181(CONNECTED) 1] ls /brokers/topics
      [test]
      作用：1.在Zookeeper中注册topic节点；2.在【broker-->log.dirs属性】目录创建toptic主题
    4.开启生成者producer
      $>kafka-console-producer.sh --topic test --broker-list localhost:9092
      $>jps
	3424 Kafka
	4770 Jps
	4531 ConsoleProducer
	3178 QuorumPeerMain
       作用：开启守护进程ConsoleProducer
    5.开启消费者
      $>kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
      $>jps
	3424 Kafka
	5521 Jps
	4531 ConsoleProducer
	5270 ConsoleConsumer
	3178 QuorumPeerMain
      作用：开启守护进程ConsoleConsumer
    6.在producer(生产者一端)发送消息
       producer>hello world
       consumer>hello world
五：单节点，多Broker集群
　　

　　1.开启zookeeper
      $>zookeeper-server-start.sh /home/hyxy/soft/kafka/config/zookeeper.properties 
      $>jps
	4264 Jps
	3178 QuorumPeerMain
    2.开启多个Broker：案例模拟采用三个broker服务器
       a.复制server.properties两个，如下;
         $>cp server.properties server-1.properties
	 $>cp server.properties server-2.properties
       b.修改每个server配置，如下：
         【server-1.properties】
	      broker.id=1      
	      port=9093
	      log.dirs=/home/hyxy/tmp/kafka-logs-1
	 【server-2.properties】
	      broker.id=2      
	      port=9094
	      log.dirs=/home/hyxy/tmp/kafka-logs-2
	 【server-2.properties】
	      broker.id=0      
	      port=9092
	      log.dirs=/home/hyxy/tmp/kafka-logs
       c.分别启动kafka服务
          $>kafka-server-start.sh /home/hyxy/soft/kafka/config/server.properties
	  $>kafka-server-start.sh /home/hyxy/soft/kafka/config/server-1.properties
	  $>kafka-server-start.sh /home/hyxy/soft/kafka/config/server-2.properties
       d.查看jps
          $>jps
		7090 Kafka
		7666 Kafka
		7394 Kafka
		6854 QuorumPeerMain
		7927 Jps
    3.创建主题：创建名为“hyxy”的主题，并设置其分区为2，复本为2
       $>kafka-topics.sh --create --topic hyxy --zookeeper localhost:2181 --partitions 2 --replication-factor 2
       Created topic "hyxy".
       验证：
         查看[log.dirs]目录下，主题生成的结果！！
    4.启动Producer
       $>kafka-console-producer.sh --topic hyxy --broker-list localhost:9092,localhost:9093,localhost:9094
    5.启动消费者
       $>kafka-console-consumer.sh --zookeeper localhost:2181 --topic hyxy --from-beginning
    6.属性说明:
       创建名为“topic1”的主题，并设置其分区为3，复本为3
           $>kafka-topics.sh --create --topic topic1 --zookeeper localhost:2181 --partitions 3 --replication-factor 3
       创建名为“topic2”的主题，并设置其分区为2，复本为1
           $>kafka-topics.sh --create --topic topic2 --zookeeper localhost:2181 --partitions 2 --replication-factor 1
       验证：
         查看[log.dirs]目录下，主题生成的结果！！
    7.复本数(--replication-factor)不能大于broker数
       验证：创建名为“topic3”的主题，并设置其分区为4，复本为4
          $>kafka-topics.sh --create --topic topic3 --zookeeper localhost:2181 
	                    --partitions 4 
			    --replication-factor 4
          Error while executing topic command : replication factor: 4 larger than available brokers: 3
	  [2018-09-12 14:08:36,196] ERROR kafka.admin.AdminOperationException: replication factor: 4 larger than available brokers: 3
		at kafka.admin.AdminUtils$.assignReplicasToBrokers(AdminUtils.scala:117)
		at kafka.admin.AdminUtils$.createTopic(AdminUtils.scala:403)
		at kafka.admin.TopicCommand$.createTopic(TopicCommand.scala:110)
		at kafka.admin.TopicCommand$.main(TopicCommand.scala:61)
		at kafka.admin.TopicCommand.main(TopicCommand.scala)
	   (kafka.admin.TopicCommand$)

六：多节点，多Broker集群

    1.要求：
        a.搭建两台节点：master和slave1：安装kafka和zookeeper
	b.分别在master和slave1上创建两个Broker:
             master节点操作：
	         复制server.properties为server-1.properties
                 【server.properties】
		      broker.id=0
		      port=9092
		      log.dirs=/home/hyxy/tmp/master-0
		      zookeeper.connect=master:2181,slave1:2181,slave2:2181
		 【server-1.properties】
		      broker.id=1
		      port=9093
		      log.dirs=/home/hyxy/tmp/master-1
		      zookeeper.connect=master:2181,slave1:2181,slave2:2181
             slave1节点操作：
	         复制server.properties为server-1.properties
                 【server.properties】
		      broker.id=2
		      port=9092
		      log.dirs=/home/hyxy/tmp/slave1-0
		      zookeeper.connect=master:2181,slave1:2181,slave2:2181
		 【server-1.properties】
		      broker.id=3
		      port=9093
		      log.dirs=/home/hyxy/tmp/slave1-1
		      zookeeper.connect=master:2181,slave1:2181,slave2:2181
    2.开启zookeeper:分别在master和slave1节点上执行以下命令：
       $>zkServer.sh start
    3.分别开启kafka
      master操作：
         $>kafka-server-start.sh /home/hyxy/soft/kafka/config/server.properties
         $>kafka-server-start.sh /home/hyxy/soft/kafka/config/server-1.properties
      slave1操作：
         $>kafka-server-start.sh /home/hyxy/soft/kafka/config/server.properties
         $>kafka-server-start.sh /home/hyxy/soft/kafka/config/server-1.properties
    4.测试
       创建主题：
       开启Producer
       开启Consumer