zoukankan      html  css  js  c++  java
  • HBase学习----windows10下使用eclipse搭建HBase的开发环境

    以下是我搭建HBase开发环境的一些心得(windows10)

    0.安装JDK和eclipse和一个可用的HBase。

    这步是最基础的,在此就不赘述了

    1.创建一个java项目:

    基础问题,不赘述。

    2.导入需要的jar包

    官网下载对应的二进制包,将lib文件下的jar包导入(右键--> build path -->Libraries -->Add External JARs --> 选择lib目录下的文件)
    注意:如果jar文件有所缺失会在项目的图标下有个红色的感叹号,但是找了半天并没有找到缺失了什么jar包,还好官网的lib是齐全的,有时间研究下eclipse这个工具的使用。

    3.导入配置文件

    在项目的根目录下新建conf文件夹,从生产环境(可用的hbase,一般在hbase下的conf中)拷贝hbase-site.xml到该文件夹,右键configure build path --> Libraries --> Add Class Folder -->选择新建的conf文件夹


    4.log4j配置文件:

    .在项目的根目录下创建log4j.properties文件,里面写入:
    ========================分割线==================================
    log4j.rootLogger=WARN, stdout
    log4j.appender.stdout=org.apache.log4j.ConsoleAppender
    log4j.append5r.stdout.layout=org.apache.log4j.PatternLayout
    log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
    ========================分割线==================================
    有时间可以查查这个log4j追加器
    追加器的目的只是为了,让你的异常或者错误的调试信息显示出来。

    5.补充winutils.exe文件

    还有个winutils.exe文件也很重要如果缺失,也会导致报错。
    通过搜索资料得知有两种办法:
    但是都要首先下载:
    https://github.com/srccodes/hadoop-common-2.2.0-bin
    这里的软件包解压出来

    一种是在windows中的环境变量设置HADOOP_HOME
    但是这种方式,我照着做了并没有成功

    所以使用了第二种方法:在程序中设置,代码如下(在main方法的开始添加即可):
    System.setProperty("hadoop.home.dir", "D:\Data\workspace2\hadoop-common-2.2.0-bin-master");
    其中的D:\Data\workspace2\hadoop-common-2.2.0-bin-master为我下载后的解压路径,注意这里的路径要用\,要不然会报错。

    6.其他

    以上的四步是解析conf/下面的xml文件来获取到HBase集群的地址和端口。
    据说还有一种直接设置静态的值方式,暂时没有成功。

    7.最后

    接下就可以研究下非环境搭建的问题了。

    暂时先记下这么多,以后有时间再来,补充和完善。

    数据科学交流群,群号:189158789 ,欢迎各位对数据科学感兴趣的小伙伴的加入!

    深信积累的力量,时间就是你最好的朋友,否则它就是你最大的敌人。

    如果你想分享此文章,请注明:作者:PurStar 出处:www.cnblogs.com/purstar

  • 相关阅读:
    Allow Zero Length 允许空字符串 ACCESS
    数据集永久字段的Visble 属性为何不起作用
    Microsoft Jet 数据库引擎 SQL 和 ANSI SQL 的比较
    Microsoft 数据访问组件 (MDAC) 的版本历史记录
    Windows 7 英文版操作系统中文软件乱码解决方法
    DBLookupComboBox 的初始值
    无法为更新定位行,一些值可能已在最后一次读取后已更改
    [hdu6428]Problem C. Calculate
    [hdu6437]Problem L. Videos
    [hdu6434]Problem I. Count
  • 原文地址:https://www.cnblogs.com/purstar/p/6005094.html
Copyright © 2011-2022 走看看