伪分布式环境设置及zookeeper安装

安装vmware tools工具
打开虚拟机系统–选择”虚拟机”–”安装vmware tools”
$ su - root
# mount /dev/cdrom /mnt
# cp /mnt/VMwareTools-9.6.0-1294478.tar.gz /tmp/
# cd /tmp/
# tar zxf VMwareTools-9.6.0-1294478.tar.gz
# cd vmware-tools-distrib/
# ./vmware-install.pl [全部回车]

**系统环境准备
1、把网卡IP设置成静态 （NAT方式）
ifconfig # 查看网卡IP
vi /etc/sysconfig/network-scripts/ifcfg-eth0
ONBOOT=yes # 把网卡设置成开机启动
BOOTPROTO=static # 把DHCP改为static
IPADDR=192.168.17.129
NETMASK=255.255.255.0
GATEWAY=192.168.17.2

2、设置DNS
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DNS1=192.168.17.2 #第一个DNS设置成跟网关地址一样
DNS2=202.96.209.5

service network restart # 把网络服务重启

3、修改主机名
** 集群内部一般主机名都是格式统一的
** hadoop里面主机名不支持下划线
hadoop-senior01.beifeng.com
hadoop-senior02.beifeng.com
hadoop-senior03.beifeng.com

# vi /etc/sysconfig/network
HOSTNAME=hadoop-senior01.beifeng.com

4、关闭防火墙、selinux
** 默认情况下,防火墙只开启了22号端口

# 关闭防火墙服务
# service iptables stop 
# 设置成开机不启动
# chkconfig iptables off

# 关闭selinux
# vi /etc/sysconfig/selinux
SELINUX=disabled   把enforcing改成disabled 

5、添加主机名的映射
** 后期需要时间主机名
# vi /etc/hosts
192.168.17.129 hadoop-senior01.beifeng.com

6、创建普通用户
** 后期所有操作都用该普通用户进行
# useradd beifeng
# echo 123456 | passwd –stdin beifeng

（xshell）
** 安装JDK
$ su - root
# mkdir /opt/modules # 用于软件安装目录
# mkdir /opt/softwares # 用于软件下载目录

# chown beifeng:beifeng /opt/modules/
# chown beifeng:beifeng /opt/softwares/

$ tar zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

# vi /etc/profile   (root用户)
## JAVA_HOME
JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin

卸载系统自带的JDK
# rpm -qa | grep -i java
# rpm -e --nodeps tzdata-java-2012j-1.el6.noarch 
# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 
# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64 

安装伪分布式
$ tar zxf hadoop-2.5.0.tar.gz -C /opt/modules/

---

ZooKeeper
hadoop – 大象
Hive – 蜜蜂
pig – 猪
HBase kafka …
…

** apache的顶级开源项目
** zookeeper.apache.org
** 开源、分布式集群
** 服务器数量是2n+1,允许服务器宕机个数为n(不影响整个集群的功能)     3台  5台  7台
** 为分布式应用提供协调服务
** 选举算法: FastLeaderElection --->  Fast Paxos
    ** 活动的投票数量过半就是leader
** 正常情况下，集群会选择出一个leader服务器,其他服务器角色是follower

zookeeper功能：
** 统一命名服务（Name Service）
** 配置管理（Configuration Management）
** 集群管理（Group Membership）
** 共享锁（Locks）/同步锁

角色：
leader ： 做决定、做决策
follower : 接受客户端请求, 投票

zookeeper安装：
1、解压：tar -zxvf zookeeper-3.4.5.tar.gz
2、修改配置文件
cd /opt/modules/zookeeper-3.4.5/conf
cp -a zoo_sample.cfg zoo.cfg

修改配置文件：
mkdir /opt/modules/zookeeper-3.4.5/zkData
vim zoo.cfg
    dataDir=/opt/modules/zookeeper-3.4.5/zkData

3、启动zookeeper  
    ** 单节点
bin/zkServer.sh start

JMX enabled by default
Using config: /opt/modules/zookeeper-3.4.5/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

$ bin/zkServer.sh status

zookeeper常用的几个命令：
bin/zkCli.sh –进入zookeeper
help –查看帮助
** ls /
** get /zookeeper/quota
create /test “123456”
** delete /test
history
sync /test

zookeeper地址：139...*:2181

zookeeper集群部署：
规划：
hadoop-senior01 hadoop-senior02 hadoop-senior03
zookeeper zookeeper zookeeper

配置：
1、修改zoo.cfg
dataDir=/opt/modules/zookeeper-3.4.5/zkData

server.1=192.168.17.129:2888:3888
server.2=192.168.17.130:2888:3888
server.3=192.168.17.131:2888:3888

2、添加myid文件
** 一定要在linux里面创建
$ vi zkData/myid
1

3、把zookeeper目录拷贝给其他集群服务器
scp−rzookeeper−3.4.5/hadoop−senior02.beifeng.com:/opt/modules/ scp -r zookeeper-3.4.5/ hadoop-senior03.beifeng.com:/opt/modules/

修改myid文件
hadoop-senior02 为 2
hadoop-senior03 为 3

4、依次启动所有集群服务
$ bin/zkServer.sh start

5、检查每个服务器的状态
$ bin/zkServer.sh status