zoukankan      html  css  js  c++  java
  • CDH版本hadoop重新编译

    一、编译环境的准备(资源链接如下)

             https://pan.baidu.com/s/1GoOW30RGR1B21JkuKdHFdA

    准备linux环境

          准备一台linux环境,内存4g或以上,硬盘40g或以上,这里使用的是Centos6.9 64位的操作系统( 注意:一定要使用 64 位的操作系统)。

    关闭防火墙命令:

          service iptables stop

          chkconfig iptables off

    关闭selinux

          vim /etc/selinux/config

    安装jdk1.7

          注意:亲测证明 hadoop-2.6.0-cdh5.14.0 这个版本的编译, 只能使用 jdk1.7,如果使用 jdk1.8 那么就会报错。

    查找出 centos6.9 系统自带的 openjdk
    rpm -qa | grep java
    将所有这些 openjdk 全部卸载掉
    rpm -e xxxx(包名)

          

             将 oracle 公司的 jdk 的安装包上传服务器并且解压

                   mkdir -p /export/servers

                   mkdir -p /export/software

                   cd /export/software

                   tar -zxvf jdk-7u71-linux-x64.tar.gz -C ../servers/

             配置环境变量

                  vim /etc/profile

                  export JAVA_HOME=/export/servers/jdk1.7.0_71

                  export PATH=:$JAVA_HOME/bin:$PATH

             重新加载环境变量文件,立即生效

                    source /etc/profile

    安装maven

    理论上使用 maven3.x 以上的版本应该都可以, 此处不建议使用太高的版本。
    将 maven 的安装包上传到/export/softwares, 然后解压 maven 的安装包到
    /export/servers
    cd /export/softwares/
    tar -zxvf apache-maven-3.0.5-bin.tar.gz -C ../servers/北京市昌平区建材城西路金燕龙办公楼一层 电话: 400-618-9090
    配置 maven 的环境变量
    vim /etc/profile
    export MAVEN_HOME=/export/servers/apache-maven-3.0.5
    export MAVEN_OPTS="-Xms4096m -Xmx4096m"
    export PATH=:$MAVEN_HOME/bin:$PATH
    让修改立即生效
    source /etc/profile
    解压已经下载好的一份 maven 仓库, 用来编译 hadoop 会比较快。
    tar -zxvf mvnrepository.tar.gz -C /export/servers/
    修改 maven 的配置文件
    cd /export/servers/apache-maven-3.0.5/conf
    vim settings.xml

    指定我们本地仓库存放的路径

    添加阿里云镜像地址

    安装findbugs

    解压 findbugs
    tar -zxvf findbugs-1.3.9.tar.gz -C ../servers/
    配置 findbugs 的环境变量
    vim /etc/profile
    export FINDBUGS_HOME=/export/servers/findbugs-1.3.9
    export PATH=:$FINDBUGS_HOME/bin:$PATH
    让修改立即生效
    source /etc/profile

    在线安装一些依赖包

    yum install autoconf automake libtool cmake
    yum install ncurses-devel
    yum install openssl-devel
    yum install lzo-devel zlib-devel gcc gcc-c++
    bzip2 压缩需要的依赖包
    yum install -y bzip2-devel

    安装protobuf

    解压 protobuf 并进行编译
    cd /export/softwares
    tar -zxvf protobuf-2.5.0.tar.gz -C ../servers/
    cd /export/servers/protobuf-2.5.0
    ./configure
    make && make install

    安装snappy

    cd /export/softwares/
    tar -zxf snappy-1.1.1.tar.gz -C ../servers/
    cd ../servers/snappy-1.1.1/
    ./configure
    make && make install

    下载cdh源码准备编译

    源码下载地址为:
    http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0-
    src.tar.gz
    解压 cdh 源码进行编译
    tar -zxvf hadoop-2.6.0-cdh5.14.0-src.tar.gz -C ../servers/
    cd /export/servers/hadoop-2.6.0-cdh5.14.0
    编译不支持 snappy 压缩:
    mvn package -Pdist,native -DskipTests –Dtar
    编译支持 snappy 压缩:
    mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy
    编译完成之后安装包的 tar.gz 文件就在下面这个路径里面
    

    常见编译错误

    如果编译时候出现这个错误:
    An Ant BuildException has occured: exec returned: 2
    这是因为 tomcat 的压缩包没有下载完成, 需要自己下载一个对应版本的 apachetomcat-6.0.53.tar.gz 的压缩包放到指定路径下面去即可
    这两个路径下面需要放上这个 tomcat 的 压缩包
    /export/servers/hadoop-2.6.0-cdh5.14.0/hadoop-hdfsproject/hadoop-hdfs-httpfs/downloads
    /export/servers/hadoop-2.6.0-cdh5.14.0/hadoop-commonproject/hadoop-kms/downloads

     

  • 相关阅读:
    12月2号
    11月30号
    11月25号
    本周总结
    每日日报
    每日日报
    每日日报
    JAVA日报
    JAVA日报
    JAVA日报
  • 原文地址:https://www.cnblogs.com/haojia/p/12386218.html
Copyright © 2011-2022 走看看