zoukankan      html  css  js  c++  java
  • HBase环境配置

    配置HBase所需环境:

    已经配置好Hadoop的虚拟机,我使用的是CentOS,在本机上下载HBase,使用远程连接或者命令上传到虚拟机,我使用的是Xftp 6,将压缩包解压,修改配置文件,添加环境变量,大概就是这个流程。

    详细教程:

    https://www.cnblogs.com/wang-jx/p/9672072.html

    补充:

    一、1.4添加权限貌似可以跳过

    二、单机模式:这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统,一般仅用于本地MR程序的调试

      伪分布式:

     这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)

      请注意分布式运行中的这几个结点的区别:

    1. 从分布式存储的角度来说,集群中的结点由一个NameNode和若干个DataNode组成,另有一个SecondaryNameNode作为NameNode的备份。
    2. 从分布式应用的角度来说,集群中的结点由一个JobTracker和若干个TaskTracker组成,JobTracker负责任务的调度,TaskTracker负责并行执行任务。TaskTracker必须运行在DataNode上,这样便于数据的本地计算。JobTracker和NameNode则无须在同一台机器上。一个机器上,既当namenode,又当datanode,或者说 既 是jobtracker,又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算,故称为"伪分布式"。开启多个进程模拟完全分布式,但是并没有真正提高程序执行的效率

      分布式: 

      真正的分布式,由3个及以上的实体机或者虚拟机组件的机群。

    三、在以下这一步

    可以在虚拟机中新建一个可以读写的文件,将<value></value>的值设置为此文件的路径,在虚拟机中新建文件的命令为 touch /路径。。/文件名

    四、在使用shell命令操作HBase时,有些命令可能会报Can‘t get master address from ZooKeeper;znode data==null,查了查说是因为zookeeper不稳定造成的,网上也有其他教程,我的解决方式是关掉虚拟机重新启动,从这件事长了一个教训,虚拟机一般时候不要采取挂起,关机是做好的选择。

  • 相关阅读:
    前端微服务
    日志系统的设计
    js解决数据精度问题
    前端取不到header 里面的内容问题
    sql server 数据库查询 json 数据乱码
    IDEA 根据 DCEVM + Hotswap Agent 实现项目热部署
    Redis 常用命令
    Spring Data JPA native query 分页
    十八年开发经验分享(06)递归程序构造
    十八年开发经验分享(07)递归程序设计
  • 原文地址:https://www.cnblogs.com/wangzhaojun1670/p/13842208.html
Copyright © 2011-2022 走看看