zoukankan      html  css  js  c++  java
  • Mac搭建Hadoop源码阅读环境

    1、本次Hadoop源码阅读环境使用的阅读工具是idea,Hadoop版本是2.7.3。需要安装的工具包括idea、jdk、maven、protobuf等

    2、jdk,使用的版本是1.8版,在jdk官网下载jdk-8u111-macosx-x64.dmg,点击安装,一路next。

    3、idea安装,略

    4、maven,使用的版本是3.3.9,下载apache-maven-3.3.9-bin.tar,解压:

    tar -zxvf  apache-maven-3.3.9-bin.tar

    进入 Maven 安装根目录 cd apache-maven-3.3.9

    进入 Maven配置文件目录 cd conf

    编辑settings.xml文件 vi  settings.xml

    设置阿里云的Maven库,参考:maven使用阿里云仓库

    设置Maven环境变量:

    vi ~/.bash_profile

    export MAVEN_HOME=/opt/PRG/apache-maven-3.3.9
    export PATH=${PATH}:${MAVEN_HOME}/bin:
    export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
    export PATH
    

    更新环境变量 source ~/.bash_profile

    mvn -version 能看到相应的版本,则Maven安装成功。

    5、安装protobuf,下载protobuf-2.5.0.tar.gz

    解压:tar -zxvf protobuf-2.5.0.tar.gz

    cd protobuf-2.5.0

    依次执行

      ./configure
      make
      make check
      make install
    

    最后输入  protoc --version命令,如显示libprotoc 2.5.0则安装成功

     6、编译Hadoop源码

    在Hadoop官网下载hadoop-2.7.3-src.tar.gz源码

    解压:tar -zxvf  hadoop-2.7.3-src.tar.gz

    cd hadoop-2.7.3-src

    执行:

    mvn package -Pdist -DskipTests -Dtar
    

     在macbook air上需要26分钟

    最后输出:[INFO] Reactor Summary:

    没有报错,则说明编译成功。

    7、把编译好的Hadoop源码导入Idea

    import Maven工程一路next

  • 相关阅读:
    Luogu P6623 [省选联考 2020 A 卷] 树|Trie
    Luogu P4683【IOI2008】Type Printer 打印机|trie
    Luogu P5658 括号树|搜索+递推
    Luogu P4514 上帝造题的七分钟|二维树状数组
    Luogu P1314 【NOIP2011】聪明的质检员|前缀和+二分
    Html5表单元素
    HTML5视频音频
    HTML5语义化标签
    斗地主案例
    Collection集合
  • 原文地址:https://www.cnblogs.com/zheyangsan/p/6895097.html
Copyright © 2011-2022 走看看