zoukankan      html  css  js  c++  java
  • Hadoop编译方法

    伪分布式:
    hadoop-env.sh core-site.xml hdfs-site.xml  mapred-site.xml 
    
    1.在hadoop官网下载hadoop的源码(同步跟踪最新源代码)
    mvn checkout http://svn.apache.org/repos/asf/hadoop/common/trunk/ hadoop-trunk
    
    hadoop-trunk目录下即就是下载的源码
    
    

    2.

    源码版本和安装的版本应该会不一样,因此先使用默认的hadoop单机配置下。因此引进的是java project,不要依赖分布式。



    可以用自己编译出的安装包来进行hadoop的集群安装


    在eclipse下编译并调试运行hadoop2.0源码

    http://www.devba.com/index.php/archives/1571.html  我爱你,这里讲的比较详细全面

    编出的jar包在:

    /usr/local/hadooptrunk/hadoop-common/hadoop-dist/target/hadoop-3.0.0-SNAPSHOT/share/hadoop$

    相关:

    SVN checkout hadoop源码及Maven进行Hadoop源代码编译步骤

    http://www.it165.net/admin/html/201309/1860.html


    不完整:http://www.cnblogs.com/meibenjin/p/3172889.html


    这个是将hadoop-2.1.1-SNAPSHOT.tar.gz安装伪分布式的文档(正确)(我也爱你)

    Hadoop单机单节点集群安装配置  http://blog.csdn.net/dingdn/article/details/13000183

    当eclipse建立mapreduce project时,DFS显示版本不对。为trunk,最新版本。

    对应版本:

    http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.2.0/

    编译方法应该一样,先编译出来试一下,重点在能在线调试。

    明天试一下用新的编出来的包,运行一下伪分布式。

    如果能运行,就可以改源代码了 

    bin/hadoop jar hadoop-examples-1.2.0.jar wordcount  /words/input output

    结束

    eclipse安装maven插件

    http://dead-knight.iteye.com/blog/1910783

    远程调试新版hadoop:

    http://chinahadoop.net/thread-5352-1-1.html

    在eclipse下远程调试hadoop2.0   http://www.cnblogs.com/meibenjin/archive/2013/07/07/3175679.html

    重要发现:新版的hadoop-2.2.0 和编译的目录完全一致啊  哈哈 这样就可以这个版本进行集群配置,并在此基础上修改源码。只是eclipse的插件要自己编译

    (参考而已 新版hadoop配置 和单机单节点差不多http://yangshangchuan.iteye.com/blog/1967994

    下一步:要自己编译eclipse plugin插件


    网上还流行一种编译方法:ant build工具


    http://www.cnblogs.com/liuxiaojun/archive/2010/09/06/hadoop-003.htmlhttp://blog.csdn.net/dingdn/article/details/13000183

  • 相关阅读:
    阿里代码检查工具
    SpringCloud 服务通信方法
    Apache ab简单使用
    H5 webSocket使用
    Java list去重 取重
    解决 spring boot Failed to decode downloaded font
    Pycharm设置快捷方式
    环境变量与文件的查找
    Linux基础
    VIM中文乱码解决
  • 原文地址:https://www.cnblogs.com/kxdblog/p/4034262.html
Copyright © 2011-2022 走看看