zoukankan      html  css  js  c++  java
  • hadoop hive学习之旅

            hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为 MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库。

    hive 的安装与启动

    1.首先要确认已经安装好hadoop并且能够正常启动。

    2.然后下载hive,我用的是hive-0.3.99.1+0(可以去hadoop官网上去下在)

    3.hive的安装基本上不需要配置,直接用tar解压缩,只需要配置简单环境变量

      export HIVE_HOME=/home/hadoop/hadoop-0.20.1+120/hive-0.3.99.1+0

      export PATH=$HADOOP_HOME/hive-0.3.99.1+0/bin:$PATH

    4.先启动hadoop,然后到HIVE_HOME/bin目录下执行hive命令就可以看到

    Hive history file=/tmp/hadoop/hive_job_log_hadoop_201109101824_1625716611.txt
    hive>

    说明初步安装成功了。。。

    5.下面就可以体验hive的强大的功能了

    hive> create table user(id int,name string)
        > row format delimited
        > fields terminated by '\t';
    OK
    Time taken: 0.037 seconds

    hive> load data local inpath '/home/hadoop/poke.txt' overwrite into table pokes;
    Copying data from file:/home/hadoop/poke.txt
    Loading data to table pokes
    OK
    Time taken: 0.142 seconds

    hive> select *from pokes;
    OK
    12    qiu
    123    wen
    Time taken: 0.028 seconds

    这里有一个问题:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.ExecDriver 

    这个好像就是建表的时候没有指定格式,然后导入数据的时候,数据格式不对产生的错误。我也是刚刚接触,说错了见谅。但是严格按照官方文档做应该没什么问题。

    另外还有一个问题就是hive的web接口还没有配置完成,先到这吧,下回继续。。。

  • 相关阅读:
    PowerDesigner概念设计模型(CDM)中的3种实体关系
    基于Prototype 1.6.2 框架下的数据分页
    中国地区,北京54坐标系条带号的选
    C#中MessageBox的使用
    C#注册表的读,写,删除,查找 (转)
    C# Tostring() 格式大全 [转]
    Layer features in this layer set, ArcEngine图层标注源码 (转)
    判断点是否在多边形之内的方法
    C#导入Excel到Dataset和导出Excel到DataTable
    Server.MapPath方法的应用方法
  • 原文地址:https://www.cnblogs.com/dlutxm/p/2172774.html
Copyright © 2011-2022 走看看