Hbase安装

1、centos下载并解压jdk

关键是要添加--no-cookie --header "Cookie: oraclelicense=accept-securebackup-cookie"

wget --no-cookie --header "Cookie: oraclelicense=accept-securebackup-cookie"  https://download.oracle.com/otn-pub/java/jdk/12.0.1+12/69cfe15208a647278a19ef0990eea691/jdk-12.0.1_linux-x64_bin.tar.gz

2、设置环境变量

（1）解压JDK

（2）vi /etc/profile

JAVA_HOME=/root/jdk/jdk-12.0.1
CLASSPATH=.:$JAVA_HOME/lib
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME CLASSPATH PATH

（3）source /etc/profile

 3、下载并解压zookeeper

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

4、修改zk配置文件

zk配置文件路径：/root/zookeeper/zookeeper-3.4.14/conf/zoo.cfg，主要修改dataDir，添加dataLogDir

dataDir=/root/zookeeper/zkdata
dataLogDir=/root/zookeeper/zkdatalog

5、启动zk

cd /root/zookeeper/zookeeper-3.4.14/bin
./zkServer.sh start

6、下载并解压hadoop

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

为啥要用这个版本hadoop，可以参考https://hbase.apache.org/2.1/book.html#basic.prerequisites

7、修改hadoop配置文件

主要增加java_home配置，配置文件地址/root/hadoop/hadoop-2.7.6/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/root/jdk/jdk-12.0.1

8、hadoop mapreduce例子测试

（1）mkdir input

（2） cp hadoop-2.7.6/etc/hadoop/*.xml input

（3）执行

hadoop-2.7.6/bin/hadoop jar hadoop-2.7.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input output 'dfs[a-z.]+'

9、hadoop伪分布式安装

hbase需要hdfs，我们使用伪分布式模式安装hadoop，启动hdfs。伪分布式模式在1个节点上运行HDFS的NameNode、DataNode和YARN的ResourceManger、NodeManager java进程。

伪分布式模式参考：https://www.cnblogs.com/ee900222/p/hadoop_1.html

9.2.1 修改设定文件

# vi etc/hadoop/core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

# vi etc/hadoop/hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

9.2.2 设定本机的无密码ssh登陆

# ssh-keygen -t rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# chmod 600 ~/.ssh/authorized_keys
# chmod 710 ~/.ssh

9.2.3 执行Hadoop job

MapReduce v2 叫做YARN，下面分别操作一下这两种job

9.2.4 执行MapReduce job

9.2.4.1 格式化文件系统

# hdfs namenode -format

9.2.4.2 启动名称节点和数据节点后台进程

# sbin/start-dfs.sh

在localhost启动一个1个NameNode和1个DataNode，在0.0.0.0启动第二个NameNode

9.2.4.3 确认

# jps

9.2.4.4 访问NameNode的web页面

http://localhost:50070/

9.2.4.5 创建HDFS

# hdfs dfs -mkdir /user
# hdfs dfs -mkdir /user/test

9.2.4.6 拷贝input文件到HDFS目录下

# hdfs dfs -put etc/hadoop /user/test/input

确认，查看

# hadoop fs -ls /user/test/input

9.2.4.7 执行Hadoop job

# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar grep /user/test/input output 'dfs[a-z.]+'

9.2.4.8 确认执行结果

# hdfs dfs -cat output/*

或者从HDFS拷贝到本地查看

# bin/hdfs dfs -get output output
# cat output/*

9.2.4.9 停止daemon

# sbin/stop-dfs.sh

9.2.5 执行YARN job

MapReduce V2框架叫YARN

9.2.5.1 修改设定文件

# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
# vi etc/hadoop/mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

# vi etc/hadoop/yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

9.2.5.2 启动ResourceManger和NodeManager后台进程

# sbin/start-yarn.sh

9.2.5.3 确认

# jps

9.2.5.4 访问ResourceManger的web页面

http://localhost:8088/

9.2.5.5 执行hadoop job

# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar grep /user/test/input output 'dfs[a-z.]+'

9.2.5.6 确认执行结果

# hdfs dfs -cat output/*

执行结果和MapReduce job相同

9.2.5.7 停止daemon

# sbin/stop-yarn.sh

9.2.5.8 问题点

1. 单节点测试情况下，同样的input，时间上YARN比MapReduce好像慢很多，查看日志发现DataNode上GC发生频率较高，可能是测试用VM配置比较低有关。

2. 出现下面警告，是因为没有启动job history server

java.io.IOException: java.net.ConnectException: Call From test166/10.86.255.166 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused;

启动jobhistory daemon

# sbin/mr-jobhistory-daemon.sh start historyserver

确认

# jps

访问Job History Server的web页面

http://localhost:19888/

3. 出现下面警告，DataNode日志中有错误，重启服务后恢复

java.io.IOException: java.io.IOException: Unknown Job job_1451384977088_0005

9.3 启动/停止

也可以用下面的启动/停止命令，等同于start/stop-dfs.sh + start/stop-yarn.sh

# sbin/start-all.sh

# sbin/stop-all.sh

9.4 日志

日志在Hadoop安装路径下的logs目录下

 

10、下载HBase

wget http://mirrors.hust.edu.cn/apache/hbase/2.1.3/hbase-2.1.3-bin.tar.gz

11、安装HBase

参考《Hbase伪分布式安装》