zoukankan      html  css  js  c++  java
  • hbase on spark

    1.在spark的伪分布式环境下安装HBASE

    (1)版本:我使用的spark版本是1.3.0,使用的hbase版本是hbase-0.94.16

    (2)解压,tar zxvf  hbase-0.94.16.tar.gz 到我的目录中,

    还有一点需要修改权限:设置hbase-0.94.16所在用户为hadoop,所在组为hadoop(root用户操作)

    chown -R hadoop hbase-0.94.16
    chgrp -R hadoop hbase-0.94.16
    或
     chown -R hadoop:hadoop hbase-0.94.16

    (3)配置环境变量 vim /etc/profile

      

    1 export HBASE_HOME=/opt/data02/modules/hbase-0.94.16
    2 export PATH=$PATH:$HBASE_HOME/bin

    (4)hbase配置:

    第一个配置的是:$HBASE_HOME/conf/hbase-env.sh,添加如下内容,最后一行添加export HBASE_MANAGES_ZK=true,表示使用HBase自带的zookeeper

    1 export JAVA_HOME=/opt/data02/modules/jdk1.7.0_25
    2 export HBASE_HOM=E/opt/data02/modules/hbase-0.94.16
    3 export HBASE_MANAGES_ZK=true

    第二个配置的是:$HBASE_HOME/conf目录中的hbase-site.xml,添加以下内容

     1 <configuration>
     2         <property>
     3                 <name>hbase.rootdir</name>
     4                 <value>hdfs://spark-master.dragon.org:54310/hbase</value>
     5         </property>
     6         <property>
     7                 <name>hbase.cluster.distributed</name>
     8                 <value>true</value>
     9         </property>
    10         <property>
    11                 <name>hbase.master</name>
    12                 <value>spark-master.dragon.org:54311</value>
    13         </property>
    14         <property>
    15                 <name>hbase.zookeeper.quorum</name>
    16                 <value>spark-master.dragon.org</value>
    17         </property>
    18 
    19 </configuration>

    在添加的时候值得注意的是,spark-master.dragon.org是主机名,不能换成IP地址,如果换成IP地址,在启动/habse的时候,/hmaster会发现无法启动

    最后别忘了,设置环境变量立即生效: source /etc/profile

    (5)启动,首先需要启动hadoop,然后启动hbase,如果最后,HQuorumPeer,HMaster,HRegionServer全部启动,则安装成功

  • 相关阅读:
    02.两数相加
    1480. 一维数组的动态和
    01. 两数之和
    67.二进制求和
    文献阅读(QoS-Aware Web Service Recommendation by Collaborative Filtering)
    服务计算---课程总结报告
    125. 验证回文串
    Docker 常用命令
    Docker 安装
    RESTful
  • 原文地址:https://www.cnblogs.com/nolonely/p/5390257.html
Copyright © 2011-2022 走看看