zoukankan      html  css  js  c++  java
  • Hadoop2.7.3源码编译

    一、编译源码步骤演示详解

    需求:官网下载的hadoop包,执行hadoop命令时,会有警告信息,为去除此警告,需要重新编译hadoop相应版本的源码,替换hadoop安装包lib目录下的native(警告如下图所示)

    . 编译hadoop环境要求

    1、必须在linux系统下编译(以centos6.4为例)

    2、编译使用的JDK版本必须是1.6以上

    3、编译需要使用Maven版本3.0以上(因为源码是由Maven管理的)

    4、安装Findbugs插件工具,版本1.3.9

    5、安装CMake编译工具,版本2.6或最新版本

    6、安装zlib devel

    7、安装openssl devel

    8、编译时必须连接互联网

    ===================================  编译开始   ===================================

    第一步:解压hadoop源码安装包:版本以hadoop-2.7.3-src.tar.gz为例,解压之前需在此链接中下载2.7.3版本的源码包(https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/)

     

     第二步:配置JDK, 并使profile文件生效,版本:1.8  (必须得有root权限)

     

     

     

     第三步:配置Maven,并使profile文件生效, (必须得有root权限)

     第四步:安装gcc/gcc-c++/make工具,(必须得有root权限)

     

     第五步:解压安装protobuf工具,此包提供下载链接:http://pan.baidu.com/s/1kUK5HHH

     第六步:配置protobuf环境变量

     第七步:下载安装CMake、openssl-devel、ncurses-devel依赖包

     第八步:开始编译hadoop源码包,先移动到hadoop源码安装目录下

     

    编译成功!整个过程大约需要等待20~30分钟,如下图

      第九步:替换原来的native目录,执行命令查看下,不再提示警告,编译好的文件在源码安装包的hadoop-dist目录下,具体目录替换目录如下图所示:

    ===================================  编译结束   ===================================

     

  • 相关阅读:
    常用函数集锦
    HDU1212加深下对取模运算的理解
    HDU1022 queue和vector模拟
    设计模式原则
    3.6html学习笔记之样式选择
    poj 1274(二分图最大匹配)
    poj 1469(二分图最大匹配)
    poj 3692(二分图匹配--最大独立集)
    Codeforces Round #230 (Div. 1) 解题报告
    Codeforces Rockethon 2014 解题报告
  • 原文地址:https://www.cnblogs.com/dinghong-jo/p/7810211.html
Copyright © 2011-2022 走看看