zoukankan      html  css  js  c++  java
  • GWT+Hadoop+Hbase搭建(转)

    搭建Hadoop/Hbase环境:
    1.在Apache/Hadoop项目的网站(hadoop.apache.org/)下载hadoop以及hbase的发行包,此处两个发行包的大版本号一定要一致,我使用的版本是0.20.1:
      hadoop-0.20.1.tar.gz    hbase-0.20.1.tar.gz

    2. 我用的ubuntu9.04,首先安装java虚拟机,这个比较简单,随便找个绿色的解压就可以了,我使用java-6-openjdk,配置系统的环境变量:
    编辑全局环境变量文件/etc/profile,在文件后面添加
    export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
    export PATH=$JAVA_HOME:$PATH
    保存profile文件后使用 $source /etc/profile 命令重新加载profile,然后随便在一个目录下面运行 $java -version 查看javahome环境变量和path变量是否被正确加载.
    另外到 /etc/hosts 文件中查看主机映射是否存在,例如 127.0.0.1 localhost 或者什么其他的名字,在这里默认配置本机为localhost,如果需要做分布式的话,本机要做namenode,所以要把所有的datanode的 host添加到这里面.

    3.创建hadoop用户, $sudo useradd -s /bin/bash -d /home/hadoop hadoop
    可以用 $passwd hadoop 修改hadoop用户的登录密码.

    4.创建hadoop用户的home目录,如果打算在别处安装hadoop/hbase的话可以不这样做,这里我们默认将hadoop/hbase安装在/home/${username}目录下.
    $cd /home
    $mkdir hadoop
    将目录用户指派给hadoop
    $chown hadoop hadoop
    改变目录权限,这里我们配大一些,其实只要644就足够了:
    $chmod 755 hadoop

    5.使用hadoop用户登录系统,将下载的两个发行包文件传到/home/hadoop目录下面,然后给它们加上执行权限:
    $chmod a+x hadoop-0.20.1.tar.gz
    $chmod a+x hbase-0.20.1.tar.gz

    6.解压hadoop:
    $tar zxvf hadoop-0.20.1.tar.gz
    这样做会在/home/hadoop目录下解压hadoop发行包并创建到/home/hadoop/hadoop-0.20.1目录中,这里可以详细设计目录结构并创建link文件来方便日后升级等工作,这里我们先简单放在这里.

    7.修改hadoop环境脚本:
    修改文件/home/hadoop/hadoop-0.20.1/conf/hadoop-env.sh,在其中加入JAVA_HOME变量: export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
    HADOOP_HOME变量我们可以不设置,默认的情况是指定HADOOP_HOME为运行启动脚本当前目录的父目录.

    8.修改hadoop启动配置:(这一点是0.20和0.18的一个区别)
      我采用的是伪分布式,这个分布式其实只是用master一台机器,没有其他节点。
      伪分布式(Pseudo-Distributed Operation)

      按照下面的文件位置,对相应的文件进行修改:
    conf/core-site.xml:
    <configuration>
      <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
      </property>
    </configuration>


    conf/hdfs-site.xml:
    <configuration>
      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
    </configuration>


    conf/mapred-site.xml:
    <configuration>
      <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
      </property>
    </configuration>

    9.设置ssh的无密码登录,这样会在后面很方便:
    先试一下,看看没有密码能不能登录:
    $ ssh localhost
    如果你不能没有密码登录,执行下面的命令:
    $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    10.格式化nodename及启动hdfs守护进程:
    $/home/hadoop/hadoop-0.20.1/bin/hadoop namenode -format
    $/home/hadoop/hadoop-0.20.1/bin/start-all.sh
    使用shart-all.sh可以方便的启动所有的hdfs守护进程,如果想关闭这些守护进程可以使用stop-all.sh脚本.

    用浏览器访问 http://localhost:50030/ 和 http://localhost:50070/ 可以查看hdfs拓扑结构和job进程还有hdfs文件系统结构.

    11.解压hbase发行包:
    $tar zxvf hbase-0.20.1.tar.gz

    12.修改hbase环境脚本:
    修改文件/home/hadoop/hbase-0.20.1/conf/hbase-env.sh,在其中加入JAVA_HOME变量: export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
    这个文件/home/hadoop/hbase-0.20.1/conf/hbase-site.xml对于java客户端连接数据库有非常大的作用,后面会介绍。

    13.启动hbase:
    $/home/hadoop/hbase-0.20.1/bin/start-hbase.sh
    成功启动hbase的守护进程.
    启动hbase hql shell:
    $/home/hadoop/hbase-0.20.1/bin/hbase shell
    在hql shell中可以进行hbase数据操作,如果需要帮助信息可以键入:
    hbase>help
    简单测试hbase:
    在hbase shell下:
    hbase>create 't1','f1','f3'
    hbase>list

    使用浏览器访问 http://localhost:60010/ 可以查看当前hbase信息.

    启动hbase REST服务:
    $/home/hadoop/hbase-0.20.1/bin/hbase rest start
    成功启动hbase REST服务后就可以通过对uri: http://localhost:60050/api/ 的通用REST操作(GET/POST/PUT/DELETE)实现对hbase的REST形式数据操作.
    14.需要注意的地方:
       (1)每次重启你安装hadoop,hbase的服务器后,你都要重新将表和数据重新建立一遍,否则数据库内是没有任何内容的;
       (2)不知道是什么原因,在我本机重启后,在hbase shell下,无法执行scan,get,put等操作,会报一些异常。遇到同样问题的同学,原因只有一个:你手太快了,启动hadoop需要20s左右的安全启动时间,不能进行读写操作。也不要进行读写操作,很有可能hadoop没有启动成功。所以,启动hadoop后等待一段时间。
    以上你的hadoop,hbase已经搭建好了,下面就是java客户端对这个环境的应用了。
    由于,现在做得项目是基于GWT的,所以,首先建立一个gwt工程,然后将:
        hadoop-0.20.1-core.jar
        hbase-0.20.1.jar
        log4j-1.2.15.jar
        zookeeper-3.2.1.jar
    加入到工程里面,然后build path到你的环境变量中。(注意:版本号一定要对应,马虎不得阿!)
    2、你现在要做的另外一件事情就是将我们之前说的/home/hadoop/hbase-0.20.1/conf/hbase-site.xml修改好,并且添加到你的CLASSPATH中。
    修改如下:
    <configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
        <description>The directory shared by region servers.
        </description>
      </property>
    </configuration>
    然后将/home/hadoop/hbase-0.20.1/conf/hbase-default.xml也添加到你的CLASSPATH中,这个文件不需要任何修改。

    ok!现在我们已经可以些一个java客户端去访问Hbase了
    数据库的表我们就用之前测试的时候建立过的‘t1’
    import java.io.IOException;

    import org.apache.hadoop.hbase.HBaseConfiguration;
    import org.apache.hadoop.hbase.client.Get;
    import org.apache.hadoop.hbase.client.HTable;
    import org.apache.hadoop.hbase.client.Put;
    import org.apache.hadoop.hbase.client.Result;
    import org.apache.hadoop.hbase.client.ResultScanner;
    import org.apache.hadoop.hbase.client.Scan;
    import org.apache.hadoop.hbase.util.Bytes;

    // Class that has nothing but a main.
    // Does a Put, Get and a Scan against an hbase table.
    public class MyLittleHBaseClient {
    public static void main(String[] args) throws IOException {
    //这个就是我们连接数据库的关键,其实就是相当于jdbc,只不过他读取的配置文件就是咱们放在CLASSPATH中的那个两个xml
    HBaseConfiguration config = new HBaseConfiguration();
    //确定你要往哪个表存数据,就是这个't1'
    HTable table = new HTable(config, "t1");
                    //你存入数据的row
    Put p = new Put(Bytes.toBytes("myfirstrow"));
                    //将你要存入的数据“yes”,存入到“f1”这个列簇的“perfect”下
    p.add(Bytes.toBytes("f1"), Bytes.toBytes("perfect"),
    Bytes.toBytes("yes"));
                    //执行,相当于commit
    table.put(p);


                    //Get方法,相当于sql中的select
    Get g = new Get(Bytes.toBytes("myfirstrow"));
    Result r = table.get(g);
    byte[] value = r.getValue(Bytes.toBytes("f1"), Bytes
    .toBytes("perfect"));

    String valueStr = Bytes.toString(value);
                    //打印出来的结果当然是“yes”
    System.out.println("GET: " + valueStr);

    //Scan这个方法其实是为了查询数据库的结构,因为我们可以通过HAdmin去对结构进行修改。
    Scan s = new Scan();
    s.addColumn(Bytes.toBytes("f1"), Bytes
    .toBytes("perfect"));
    ResultScanner scanner = table.getScanner(s);
    try {

    for (Result rr = scanner.next(); rr != null; rr = scanner.next()) {

    System.out.println("Found row: " + rr);
    }


    } finally {

    scanner.close();
    }
    }
    }

    http://fishyu0817.javaeye.com/blog/505818

  • 相关阅读:
    XML学习教程
    JSON 的含义?
    局域网共享问题全方位解决
    VMware虚拟化培训手册
    信息化建设中的IT规划精要
    洛谷1265 公路修建
    洛谷1144 最短路计数
    NOI题库05 派
    NOI题库7624 山区建小学(162:Post Office / IOI2000 POST OFFICE [input] )
    vijosP1014 旅行商简化版
  • 原文地址:https://www.cnblogs.com/dlutxm/p/1851141.html
Copyright © 2011-2022 走看看