zoukankan      html  css  js  c++  java

  • Ubuntu 14.10 下编译Hadoop2.4.0

    在http://www.aboutyun.com/thread-8130-1-1.html 这里看到到，安装过程遇到了上面说的问题，所以将此文转载过来，以备不时之需，感谢此作者。

    问题导读：

    1.如果获取hadoop src  maven包？
    2.编译hadoop需要装哪些软件？
    3.如何编译hadoop2.4?
    扩展：
    编译hadoop为何安装这些软件？

    一、首先下载hadoop源码包
    下载的方式还是比较多的
    1.svn的方式
    svn下载首先需要安装SVN，如果想尝试使用svn，可以参考源码管理、获取网络源码工具：TortoiseSVN使用手册，hadoop的svn下载地址点此
    2.压缩包的方式
    这里我们介绍一种压缩包的方式。
    首先我们登录官网：
    http://hadoop.apache.org/，我们找到下面链接，点进去下载即可。如果刚接触，不知道怎么下载，可以查看帖子新手指导：hadoop官网介绍及如何下载hadoop（2.4）各个版本与查看hadoop API介绍，里面介绍的很详细。



    二、解压

    1. aboutyun@master:~$ tar zxvf hadoop-2.4.0-src.tar.gz
    复制代码

    解压完毕，我们会看到相应的文件夹：



    三、解压完毕，我们开始准备编译所需要的软件
    这里软件的准备，很多文章写的都不全，这里整理一下。哪些软件是需要安装的。

    这里需要说明的是有的Linux有自带的这些工具，这个需要仔细看一下版本是否匹配，不匹配则升级一下，有些不能升级，那么就重装一下吧


    1、jdk的安装
    步骤下载压缩包、解压、配置环境变量

    （1）jdk下载
    链接: http://pan.baidu.com/s/1jGr41SU 密码: rawv
    （2）jdk解压

    1. tar zxvf jdk-7u51-linux-x64.tar.gz
    复制代码

    然后重命令为：


    （3）配置环境变量：
    如下图所示红字部分为：(记得这里的路径改成自己的实际安装路径)

    1. /usr/jdk1.7/bin
    复制代码







    （4）检验是否安装成功



    2、maven的安装

    1. sudo apt-get install maven
    复制代码

    我这里已经安装


    上面可能还需要配置环境变量之类的，但是我这里没有好像是系统自带的，网上的资料也比较多，注意maven的版本，我这里是3.0.4，hadoop2.4需要maven的这个版本或则更高的版本3.2.1版本也是可以的。
    验证安装是否成功

    1. mvn -version
    复制代码






    3.protobuf的安装
    为防止出错，这里补充一些内容，
    3.1先安装g++

    1. sudo apt-get install g++
    复制代码




    （1）下载

    1. sudo wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
    复制代码

    由于google不能访问，可以从网盘下载链接：http://pan.baidu.com/s/1dDgWe6P 密码：xgiu

    （2）解压

    1. tar zxvf protobuf-2.5.0.tar.gz
    复制代码

    如下效果：




    然后进入protobuf-2.5.0文件夹，进行如下操作：


    1. $ sudo ./configure
    2. $ sudo make
    3. $ sudo make check
    4. $ sudo make install
    5. $ sudo ldconfig
    复制代码

    修改环境变量：

    1. sudo nano /etc/profile
    复制代码



    1. export LD_LIBRARY_PATH=~/protobuf-2.5.0
    复制代码

    （LD_LIBRARY_PATH的这里，填写的是protobuf文件的位置）

    1. source /etc/profile
    复制代码

    注意：配置/etc/profile，在虚拟机重启后，可能配置会失效，所以重启后，需要再次执行source操作。


    （3）验证

    1. protoc --version
    复制代码






    4.安装openssl库

    1. sudo apt-get install libssl-dev  
    复制代码


    5.CMake安装

    1. sudo yum install cmake
    复制代码

    或则

    1. sudo apt-get install cmake
    复制代码


    6.ant安装

    （1）首先下载ant
    百度网盘： apache-ant-1.9.4-bin.tar.gz
    http://pan.baidu.com/s/1c0vjhBy

    或则下面链接：
    apache-ant-1.9.4-bin.tar.gz

    （2）解压

    1. tar zxvf  apache-ant-1.9.4-bin.tar.gz
    复制代码


    (3)配置环境变量


    如下图所示：
    1.打开profile

    1. sudo vi /etc/profile
    复制代码

    2.添加下图红字部分，记得修改成自己的路径



    3.生效

    1. source  /etc/profile
    复制代码


    4.检验

    1. ant -version
    复制代码




    四、编译hadoop2.4
    上面准备工作已经做的差不多了，我们终于可以开始，记得进入src文件夹下，输入下面命令

    1. mvn package -Pdist,native -DskipTests -Dtar  
    复制代码




    等了40多分钟，ok


    在目录~/hadoop-2.4.0-src/hadoop-dist/target下有文件：
    hadoop-2.4.0.tar.gz




    更多内容：hadoop2.4汇总：hadoop2.4插件下载、完全分布式、伪分布、eclipse插件开发大全


    问题总结：
    这里还需要在补充：
    1.遇到错误1：CMake没有安装

    1. [ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-

    3. plugin:1.6:run (make) on project hadoop-common: An Ant BuildException has

    5. occured: Execute failed: java.io.IOException: Cannot run program "cmake" (in

    7. directory "/home/wyf/hadoop-2.0.2-alpha-src/hadoop-common-project/hadoop-

    9. common/target/native"): java.io.IOException: error=2, No such file or directory

    11. -> [Help 1]
    12. [ERROR]
    13. [ERROR] To see the full stack trace of the errors, re-run Maven with the -e

    15. switch.
    16. [ERROR] Re-run Maven using the -X switch to enable full debug logging.
    17. [ERROR]
    18. [ERROR] For more information about the errors and possible solutions, please

    20. read the following articles:
    21. [ERROR] [Help 1]

    23. http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
    复制代码


    解决方法：
    CMake没有安装

    1. sudo yum install cmake
    复制代码

    或则使用

    1. sudo apt-get install cmake
    复制代码







    2.遇到错误2：ant没有安装

    1. ERROR] Failed to execute goal org.codehaus.mojo.jspc:jspc-maven-plugin:2.0-

    3. alpha-3:compile (hdfs) on project hadoop-hdfs: Execution hdfs of goal

    5. org.codehaus.mojo.jspc:jspc-maven-plugin:2.0-alpha-3:compile failed: Plugin

    7. org.codehaus.mojo.jspc:jspc-maven-plugin:2.0-alpha-3 or one of its dependencies

    9. could not be resolved: Could not transfer artifact ant:ant:jar:1.6.5 from/to

    11. central (http://repo.maven.apache.org/maven2): GET request of:

    13. ant/ant/1.6.5/ant-1.6.5.jar from central failed: Read timed out -> [Help 1]
    14. [ERROR]
    15. [ERROR] To see the full stack trace of the errors, re-run Maven with the -e

    17. switch.
    18. [ERROR] Re-run Maven using the -X switch to enable full debug logging.
    19. [ERROR]
    20. [ERROR] For more information about the errors and possible solutions, please

    22. read the following articles:
    23. [ERROR] [Help 1]

    25. http://cwiki.apache.org/confluence/display/MAVEN/PluginResolutionException
    26. [ERROR]
    27. [ERROR] After correcting the problems, you can resume the build with the command
    28. [ERROR]   mvn <goals> -rf :hadoop-hdfs
    复制代码


    1.首先下载ant
    百度网盘： apache-ant-1.9.4-bin.tar.gz
    http://pan.baidu.com/s/1c0vjhBy

    或则下面链接：
    apache-ant-1.9.4-bin.tar.gz

    2.解压

    1. tar zxvf  apache-ant-1.9.4-bin.tar.gz
    复制代码

    3.配置环境变量
    记得配置环境变量
    如下图所示：
    1.打开profile

    1. sudo vi /etc/profile
    复制代码

    2.添加下图红字部分，记得修改成自己的路径



    3.生效

    1. source  /etc/profile
    复制代码


    4.检验

    1. ant -version
    复制代码




    3.protobuf版本过低，错误现象

    1. [ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.4.0:prot
    2. oc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecut
    3. ionException: 'protoc --version' did not return a version -> [Help 1]
    4. [ERROR]
    5. [ERROR] To see the full stack trace of the errors, re-run Maven with the -e swit
    6. ch.
    7. [ERROR] Re-run Maven using the -X switch to enable full debug logging.
    8. [ERROR]
    9. [ERROR] For more information about the errors and possible solutions, please rea
    10. d the following articles:
    11. [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionE
    12. xception
    13. [ERROR]
    14. [ERROR] After correcting the problems, you can resume the build with the command

    16. [ERROR]   mvn <goals> -rf :hadoop-common
    复制代码






    hadoop2.4对应的版本是protobuf-2.5.0


    解决办法：按照安装步骤中protobuf的安装即可


    4.权限问题



    解决办法：
    （1）加上sudo
    （2）通过

    1. ll
    复制代码

    安装包解压之后，所属用户可能发生变化：

    改变用户

    sudo chown -R aboutyun:aboutyun hadoop-2.4.0-src


    上面aboutyun改成自己的所属组和用户


    命令查看是否属于当前用户

    -------------------------------------------------------------------------------------------------------------------------------

    因为之前机器上安装过hadoop2.3.0，所以这次在编辑的时候遇到了上面的几个问题

    1 protobuf版本过低，升到2.5就没问题了

    2 cmake命令找不到，安装后就欧克了

    所以要是按照上面的步骤一步步来，应该不会有问题
  • 相关阅读:
    Get-CrmSetting返回Unable to connect to the remote server的解决办法
    Dynamics 365中的常用Associate和Disassociate消息汇总
    Dynamics 365 Customer Engagement V9 活动源功能报错的解决方法
    Dynamics Customer Engagement V9版本配置面向Internet的部署时候下一步按钮不可点击的解决办法
    Dynamics 365检查工作流、SDK插件步骤是否选中运行成功后自动删除系统作业记录
    注意，更改团队所属业务部门用Update消息无效！
    Dynamics 365的审核日志分区删除超时报错怎么办？
    Dynamics 365使用Execute Multiple Request删除系统作业实体记录
    Dynamics 365的系统作业实体记录增长太快怎么回事?
    Dynamics CRM日期字段查询使用时分秒的方法
  • 原文地址：https://www.cnblogs.com/liuchangchun/p/4087231.html
Copyright © 2011-2022 走看看