zoukankan      html  css  js  c++  java
  • HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

    注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6627857018461880836/

    系统版本,Hadoop已安装完成

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    Mysql安装完成

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    Hive版本

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    Sqoop版本

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们先开启hdfs、出现问题

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    查看日志,发现端口被占用

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    查看端口

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    找找是那个程序占用,我们安装lsof

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    没有找到问题

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们修改端口号

    修改文件

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    修改内容

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    重启后依然有错误,我们将端口调回

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    这时候突然发现是权限的问题才看不到PID

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    把占用的端口都kill掉

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    重启又出现新的问题

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们停止hdfs服务、将文件夹下dfs/name/in_use.lock文件删除、重启hdfs服务

    停止hdfs服务

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    将文件夹下dfs/name/in_use.lock文件

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    重启hdfs服务

    出现问题(只删除了namenode,重复上面步骤把datanode删除)

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们再重启,终于成功了

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    浏览器访问也OK

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    安装zookeeper

    准备工具

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们解压

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们进入到安装目录中

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们修改zoo_sample.cfg文件名为zoo.cfg

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们建立一个数据目录,将目录配置到zoo.cfg中

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    在zoo.cfg中配置dataDir就可以了

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    注意:此处我们配置的是单节点的,如果是伪节点,需要做时间同步,然后配置2888等端口后,此处我们暂时只配置单节点

    启动Zookeeper

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    查看jps

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们安装HBase

    准备工具

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    解压到目录

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们进入到目录

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    进入Hbase

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们先配置hbase-env.sh,记下java_home

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    配置jdk

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    使用的是hbase自带的zookeper,需要将这个变量值设置为true,我们配置了单节点zookeeper,所以此处设为false

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    接下来可以保存了

    然后我们配置hbase-site.xml,这里面现在是空的

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    这里面的配置我们来这里找:

    这个安装包在我们本地

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们把它解压

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    找到这个jar

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    找到这个文件

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们打开可以看到,这些是我们要配置的

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们修改里面的内容

    先修改hbase.tmp.dir,我们先创建目录

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    完成配置

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们继续修改hbase.rootdir

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    然后是hbase.fs.tmp.dir和hbase.bulkload.staging.dir,这个不需要改动

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    然后hbase.cluster.distributed

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    然后是hbase.zookeeper.quorum

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们拷贝到hbase-site.xml

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们修改配置regionservers

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    修改为

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    接下来我们替换jar

    我们看到jar包中,hadoop版本是2.5.1,这个可能存在兼容性问题

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们删除原来的包、替换新的包(zookeeper-3.4.6.jar、htrace-core-3.1.0-incubating.jar是符合的我们不替换jar、),这样替换的话是14个

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    都已经删除了

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    这是准备的16个包

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们上传

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    然后我们启动Hbase

    启动有两种

    必须要提前启动zookeeper、hadoop进程再启动hbase

    bin/hbase-daemon.sh start master

    bin/hbase-daemon.sh start regionserver

    或者

    bin/start-hbase.sh

    我们启动

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    少了一个任务,我们查看日志发现

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    这是因为我们配置Hadoop使用的9000

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    而hbase是8020

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们做下修改

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    重新启动

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    继续启动

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们访问UI界面

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    我们再看下Hadoop中的UI

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

     

    就能看到一些信息

    HBase环境搭建(hbase1.2.5+zookeeper3.4.6)
  • 相关阅读:
    Python 如何安装、使用pip
    关于防范短信诈骗-贷款方向
    YouTube视频下载解析网站
    压力大导致你的Logstash重发消息吗?
    入职第一件事情
    监控多文件夹目录变化,python,win32
    https://pypi.org/project/watchdog/#files
    UVM_COOKBOOK学习【UVM基础】
    UVM实用技巧【二】
    UVM实用技巧【一】
  • 原文地址:https://www.cnblogs.com/bqwzy/p/10081063.html
Copyright © 2011-2022 走看看