linux_jdk，zookeeper，kafka安装

若是在虚拟机安装最好先进行下面的安装

1.1修改各个虚拟机主机名
            vi /etc/sysconfig/network  
    
        1.2修改主机名和IP的映射关系
            vi /etc/hosts
    
        1.3关闭防火墙
            #查看防火墙状态
            service iptables status
            #关闭防火墙
            service iptables stop
            #查看防火墙开机启动状态
            chkconfig iptables --list
            #关闭防火墙开机启动
            chkconfig iptables off

        1.4.配置ssh免登陆
            #生成ssh免登陆密钥
            ssh-keygen -t rsa （四个回车）
            执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
            将公钥拷贝到要免密登陆的目标机器上
            ssh-copy-id node-2
    
        1.5 同步集群时间
            常用的手动进行时间的同步
            date -s "2017-03-03 03:03:03"
            或者网络同步：
            yum install ntpdate
            ntpdate cn.pool.ntp.org

1、 jdk安装

1.1上传jdk
rz jdk-8u65-linux-x64.tar.gz

1.2解压jdk
tar -zxvf jdk-8u65-linux-x64.tar.gz -C /root/apps

1.3将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/root/apps/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#刷新配置
source /etc/profile

2、 zookeeper安装

	Zookeeeper集群搭建:
	
		安装前需要安装好jdk

		##下载安装包、解压

		tar -zxvf zookeeper-3.4.5.tar.gz
		mv zookeeper-3.4.5 zookeeper

		##修改环境变量（注意：3台zookeeper都需要修改）

		vi /etc/profile
		export ZOOKEEPER_HOME=/home/hadoop/zookeeper
		export PATH=$PATH:$ZOOKEEPER_HOME/bin
		source /etc/profile

		##修改Zookeeper配置文件

		cd zookeeper/conf
		cp zoo_sample.cfg zoo.cfg
		vi zoo.cfg
		添加内容：
		dataDir=/root/apps/zookeeper/zkdata
		server.1=mini1:2888:3888     ## (心跳端口、选举端口)
		server.2=mini2:2888:3888
		server.3=mini3:2888:3888
		创建文件夹：
		cd /home/hadoop/zookeeper/
		mkdir zkdata
		在data文件夹下新建myid文件，myid的文件内容为：
		cd zkdata
		echo 1 > myid

		##分发安装包到其他机器
		scp -r /root/apps root@mini2:/root/
		scp -r /root/apps root@mini3:/root/

		##修改其他机器的配置文件
		修改myid文件
		到mini2上：修改myid为：2
		到mini3上：修改myid为：3

		##启动（每台机器）
		zkServer.sh start
		或者编写一个脚本来批量启动所有机器：
		for host in "mini1 mini2 mini3"
		do
		ssh $host "source/etc/profile;/root/apps/zookeeper/bin/zkServer.sh start"

		##查看集群状态
		jps（查看进程）
		zkServer.sh status（查看集群状态，主从信息）

		如果启动不成功，可以观察zookeeper.out日志，查看错误信息进行排查

		配置文件中参数说明:

		tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每个tickTime时间就会发送一个心跳。

		initLimit这个配置项是用来配置zookeeper接受客户端（这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。

		当已经超过10个心跳的时间（也就是tickTime）长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20秒。

		syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒。

		dataDir顾名思义就是zookeeper保存数据的目录,默认情况下zookeeper将写数据的日志文件也保存在这个目录里；

		clientPort这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求；

		server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址，C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口，D是在leader挂掉时专门用来进行选举leader所用的端口。
		

3、kafka安装

1、下载安装包
			下载地址：http://kafka.apache.org/downloads.html
			在linux中使用wget命令下载安装包
			wget http://mirrors.shuosc.org/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
		2、解压安装包
			tar -zxvf kafka_2.11-1.0.0.tgz -C  /export/servers/
			cd /export/servers/
			mv kafka_2.11-1.0.0 kafka
		3、修改配置文件
			cp   /export/servers/kafka/config/server.properties
			/export/servers/kafka/config/server.properties.bak
			vi  /export/servers/kafka/config/server.properties
			输入以下内容：
		 
			#broker的全局唯一编号，不能重复
			broker.id=0
			#用来监听链接的端口，producer或consumer将在此端口建立连接
			port=9092
			#处理网络请求的线程数量
			num.network.threads=3
			#用来处理磁盘IO的线程数量
			num.io.threads=8
			#发送套接字的缓冲区大小
			socket.send.buffer.bytes=102400
			#接受套接字的缓冲区大小
			socket.receive.buffer.bytes=102400
			#请求套接字的缓冲区大小
			socket.request.max.bytes=104857600
			#kafka运行日志存放的路径
			log.dirs=/export/servers/logs/kafka
			#topic在当前broker上的分片个数
			num.partitions=2
			#用来恢复和清理data下数据的线程数量
			num.recovery.threads.per.data.dir=1
			#segment文件保留的最长时间，超时将被删除
			log.retention.hours=168
			#滚动生成新的segment文件的最大时间
			log.roll.hours=168
			#日志文件中每个segment的大小，默认为1G
			log.segment.bytes=1073741824
			#周期性检查文件大小的时间
			log.retention.check.interval.ms=300000
			#日志清理是否打开
			log.cleaner.enable=true
			#broker需要使用zookeeper保存meta数据
			zookeeper.connect=192.168.52.106:2181,192.168.52.107:2181,192.168.52.108:2181
			#zookeeper链接超时时间
			zookeeper.connection.timeout.ms=6000
			#partion buffer中，消息的条数达到阈值，将触发flush到磁盘
			log.flush.interval.messages=10000
			#消息buffer的时间，达到阈值，将触发flush到磁盘
			log.flush.interval.ms=3000
			#删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除
			delete.topic.enable=true
			#此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producer connection to localhost:9092 unsuccessful 错误!
			host.name=kafka01
		
		4、分发安装包
			scp -r /export/servers/kafka  kafka02:/export/servers
			然后分别在各机器上创建软连
			cd /export/servers/

			scp -r /export/servers/kafka  kafka03:/export/servers
			然后分别在各机器上创建软连
			cd /export/servers/
		5、再次修改配置文件
			修改分发过去的kafka的配置文件里面的id
		6、启动集群
		7、kafka常用操作命令
		查看当前服务器中的所有topic
		bin/kafka-topics.sh --list --zookeeper  zk01:2181
		创建topic
		bin/kafka-topics.sh --create --zookeeper zk01:2181 --replication-factor 1 --partitions 1 --topic test
		删除topic
		bin/kafka-topics.sh --delete --zookeeper zk01:2181 --topic test
		需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
		通过shell命令发送消息
		bin/kafka-console-producer.sh --broker-list kafka01:9092 --topic test
		通过shell消费消息
		bin/kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic test
		查看消费位置
		bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup
		查看某个Topic的详情
		bin/kafka-topics.sh --topic test --describe --zookeeper zk01:2181
		对分区数进行修改
 		bin/kafka-topics.sh --zookeeper  zk01 --alter --partitions 2 --topic test