zoukankan      html  css  js  c++  java
  • Hadoop之Pig安装

    Pig可以看做是Hadoop的客户端软件,使用Pig Latin语言可以实现排序、过滤、求和、分组等操作。

    Pig的安装步骤:

    一、去Pig的官方网站下载。http://pig.apache.org/releases.html#14+April%2C+2014%3A+release+0.12.1+available

    这里我选择的是14 October, 2013: release 0.12.0 available 这个版本。将pig-0.12.0.tar.gz 下载到本地中。

    二、将Pig放在了/usr/local 文件目录下(我个人),解压

    解压命令:tar zxvf pig-0.12.0.tar.gz 解压完成后会出现pig-0.12.0文件目录。我将其改名为pig。

    重命名命令:mv pig-0.12.0 pig

    三、设置环境变量

    编辑/root目录下的.bash_profile文件(隐藏文件,需要使用ls -a 命令查看)

    修改PATH。改为PATH=$PATH:/usr/local/pig/bin:$HOME/bin  (红色部分是我增加的)

    如果没有设置JAVA_HOME环境变量,这里也要增加 JAVA_HOME=/usr (java存放目录的上级目录)

    新增PIG_CLASSPATH=/usr/local/hadoop/conf/ (PIG_CLASSPATH后面指向的是Hadoop的安装目录下的配置文件目录)

    export PAHT

    export JAVA_HOME

    export PIG_CLASSPATH

    四、验证变量是否设置成功

    验证命令:set

    查看JAVA_HOME 和PAHT

    paht路径中要确保有Hadoop的安装目录和pig的安装目录

    五、本地模式运行

    命令:pig -x local

    出现grunt> 表示配置成功!

    六、修改etc/hosts文件

    将ip与主机名对应

    七、mapreduce工作模式

    运行命令:pig

    出现grunt> 表示配置成功!

    可能出现的问题:

    ERROR 1066: Unable to open iterator for alias A

    org.apache.pig.impl.logicalLayer.FrontendException: ERROR 1066: Unable to open iterator for alias A
    at org.apache.pig.PigServer.openIterator(PigServer.java:912)
    at org.apache.pig.tools.grunt.GruntParser.processDump(GruntParser.java:752)
    at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:372)
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:228)
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:203)
    at org.apache.pig.tools.grunt.Grunt.run(Grunt.java:66)
    at org.apache.pig.Main.run(Main.java:542)
    at org.apache.pig.Main.main(Main.java:156)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:483)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:160)
    Caused by: org.apache.pig.backend.datastorage.DataStorageException: ERROR 0: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /tmp/temp41009746. Name node is in safe mode.
    The reported blocks is only 30 but the threshold is 0.9990 and the total blocks 31. Safe mode will be turned off automatically.

    解决方法:很有可能是namenode处于安全模式。使用命令: hadoop dfsadmin -safemode leave 关闭安全模式。

  • 相关阅读:
    Python 存储引擎 数据类型 主键
    Python 数据库
    Python 线程池进程池 异步回调 协程 IO模型
    Python GIL锁 死锁 递归锁 event事件 信号量
    Python 进程间通信 线程
    Python 计算机发展史 多道技术 进程 守护进程 孤儿和僵尸进程 互斥锁
    Python 异常及处理 文件上传事例 UDP socketserver模块
    Python socket 粘包问题 报头
    Django基础,Day7
    Django基础,Day6
  • 原文地址:https://www.cnblogs.com/6tian/p/3754733.html
Copyright © 2011-2022 走看看