zoukankan      html  css  js  c++  java
  • Hadoop集群中pig工具的安装过程记录

    在Hadoop环境中安装了pig工具,安装过程中碰到了一些问题,在此做一下记录:

      主要安装流程参考:http://www.cnblogs.com/yanghuahui/p/3768270.html

    主要碰到的问题:

       由于是从直接下载的pig包,所以在mapreduce模式中会报:

         Hadoop: java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected

    根据步骤,需要运行:ant clean jar-all -Dhadoopversion=23重新编译,通过yum安装完ant之后,运行命令发现报错:Buildfile: build.xml

    BUILD FAILED
    /home/hadoop/pig-0.12.1/build.xml:720: Problem: failed to create task or type scriptdef
    Cause: the class org.apache.tools.ant.taskdefs.optional.script.ScriptDef was not found.
            This looks like one of Ant's optional components.
    Action: Check that the appropriate optional JAR exists in
            -/usr/share/ant/lib
            -/home/hadoop/.ant/lib
            -a directory added on the command line with the -lib argument
    
    Do not panic, this is a common problem.
    The commonest cause is a missing JAR.
    
    This is not a bug; it is a configuration problem
    
    Total time: 0 seconds

    而且此时,jdk环境应为ant原因已经变成Openjdk1.6。

    研究Ant的官方文档,通过运行命令:

    #ant -diagnostics

    发现通过yum安装的ant环境,缺少了所有的的option Task,造成build.xml中使用optionTask时报错。

    官方文档提示,可以通过ant -f fetch.xml -Ddest=option来安装缺少的Option Task。

    但是从本地的环境中发现,缺少基本的文件fetch.xml ,造成无法运行。

    因此删除原有环境

    rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64
    rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-6.1.13.4.el6_5.x86_64
    rpm -e --nodeps java-1.6.0-openjdk-devel-1.6.0.0-6.1.13.4.el6_5.x86_64
    rpm -e --nodeps tzdata-java-2014e-1.el6.noarch
    rpm -e --nodeps java_cup-0.10k-5.el6.x86_64
    rpm -e --nodeps ant-1.7.1-13.el6.x86_64

    从官网下载二进制包来配置ant环境:

    #tar zxvf apache-ant-1.9.4-bin.tar.gz

    在环境变量中设置:

    export ANT_HOME=/home/hadoop/apache-ant-1.9.4
    PATH=$PATH:$ANT_HOME/bin


    作者:sdjnzqr
    出处:http://www.cnblogs.com/sdjnzqr/
    版权:本文版权归作者和博客园共有
    转载:欢迎转载,但未经作者同意,必须保留此段声明;必须在文章中给出原文连接;否则必究法律责任
  • 相关阅读:
    团队贡献分
    《一个程序猿的生命周期》读后感
    阅读课本13-17章
    第三阶段冲刺(进度反应)
    阅读<构建之法>10、11、12章
    典型用户与场景描述
    第一阶段小组互评及反馈
    第一阶段总结及第二阶段开始会议
    spring冲刺阶段之团队工作总结
    alpha阶段总结 (第一阶段冲刺成果)
  • 原文地址:https://www.cnblogs.com/sdjnzqr/p/3872651.html
Copyright © 2011-2022 走看看