######################################################################################################
HBASE安装
######################################################################################################
安装环境：
cendos6.8 jdk1.8
安装包版本：
zookeeper-3.4.10.tar.gz hadoop-2.6.5.tar.gz hbase-1.3.1-bin.tar.gz
角色分配：
3台机器（不配置HA） ip hostname hbase角色 192.168.0.21 elasticsearch master 192.168.0.29 hbase-test001 slave 192.168.0.30 hbase-test002 slave
添加hosts
vim /etc/hosts 192.168.0.21 elasticsearch 192.168.0.29 hbase-test001 192.168.0.30 hbase-test002
ssh设置免密登录
ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub root@hbase-test001 ssh-copy-id -i ~/.ssh/id_rsa.pub root@hbase-test002
######################################################################################################
安装zookeeper
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz tar zxvf zookeeper-3.4.10.tar.gz cd zookeeper-3.4.10 cd conf/ cp zoo_sample.cfg zoo.cfg vim zoo.cfg 添加如下内容： dataDir=/root/libin/data/zk/data dataLogDir=/root/libin/data/zk/logs #elasticsearch server.1=elasticsearch:2888:3888 #hbase_test001 server.2=hbase-test001:2888:3888 #hbase_test002 server.3=hbase-test002:2888:3888 创建zk数据目录 mkdir -p /root/libin/data/zk/logs mkdir -p /root/libin/data/zk/data 创建myip文件 cd /root/libin/data/zk/data vim myid 在myid文件中添加server.X中x编号。如server.1节点，则myid中添加1即可。 其他两台做相同配置 启动zk，三台机器都需要执行启动命令 bin/zkServer.sh start 查看zk运行状态 bin/zkServer.sh status zk客户端启动，验证zk安装是否正确 bin/zkCli.sh -server 192.168.0.30:2181 例如 [zk: 192.168.0.30:2181(CONNECTED) 1] ls / [zookeeper, hbase]
######################################################################################################
安装hadoop
修改linux系统配置 vim /etc/security/limits.conf # NS_PER_INSTALL * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 ##修改后，需要reboot机器 wget http://www-eu.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz tar zxvf hadoop-2.6.5.tar.gz cd hadoop-2.6.5 cd etc/hadoop 修改以下配置文件 vim hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64 vim core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://elasticsearch:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/root/libin/data/hadoop/tmp</value> </property> </configuration> vim hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/root/libin/data/hadoop/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/root/libin/data/hadoop/data</value> </property> </configuration> vim slaves hbase-test001 hbase-test002 创建hadoop数据目录 mkdir -p /root/libin/data/hadoop/name mkdir -p /root/libin/data/hadoop/data mkdir -p /root/libin/data/hadoop/tmp 其他两台做相同配置 格式化hdfs，在master节点执行即可 bin/hdfs namenode -format 启动，在master节点执行即可 sbin/start-dfs.sh 验证hadoop安装是否正确 1、jps 主节点有NameNode、SecondaryNameNode进程存在，从节点有DataNode进程存在 [root@elasticsearch zookeeper-3.4.10]# jps 12978 QuorumPeerMain 8980 NameNode 9188 SecondaryNameNode 14075 Jps 2.访问HDFS的页面 http://114.67.233.239:50070 3.简单操作验证 创建目录 bin/hadoop fs -mkdir /input 上传文件 bin/hadoop fs -put LICENSE.txt /input 查看文件 bin/hadoop fs -ls /input 查看文件内容 bin/hadoop fs -cat /input/LICENSE.txt
##############################################################################################
安装hbase
wget http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz tar zxvf hbase-1.3.1-bin.tar.gz cd hbase-1.3.1 cd conf vim hbase-env.sh 修改如下配置： export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64 export HBASE_MANAGES_ZK=false vim hbase-site.xml <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://elasticsearch:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>elasticsearch,hbase-test001,hbase-test002</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/root/libin/data/zk/data</value> </property> </configuration> vim regionservers hbase-test001 hbase-test002 其他两台做相同配置 启动hbase，在master节点执行即可 bin/start-hbase.sh 验证hbase安装是否正确 1、jps查看进程HMaster HRegionServer [root@elasticsearch hadoop-2.6.5]# jps 12978 QuorumPeerMain 8980 NameNode 9188 SecondaryNameNode 9916 HMaster 15086 Jps 2.使用hbase shell简单操作 bin/hbase shell 查看状态 hbase(main):001:0> status 1 active master, 0 backup masters, 2 servers, 0 dead, 1.5000 average load hbase(main):002:0> 创建表 hbase(main):002:0> create 'test1', 'cf' 0 row(s) in 1.2340 seconds => Hbase::Table - test1 hbase(main):003:0> 查看表 hbase(main):004:0> list 'test1' TABLE test1 1 row(s) in 0.0130 seconds => ["test1"] hbase(main):005:0> 3.页面查看 http://114.67.233.239:16010