zoukankan      html  css  js  c++  java
  • hadoop2.2伪分布安装加2.2源码编译

    配置linux基本环境:

         --> java、ip、hostname、hosts、iptables、chkconfig、ssh环境配置

    hadoop2.2安装在linux64位机器上,需要对源码进行编译:

        首先安装google的protobuf

        yum install glibc-header

        yum install gcc

        yum install gcc-c++

        yum install make

        yum install cmake

        yum install openssl-devel

        yum install ncurses-devel

        tar zxvf protobuf-2.5.0.tar.gz

        cd protobuf-2.5.0 && ./configure && make check && make install 

        然后安装maven-3.0.5,配置 环境变量

        下载hadoop2.20-src,解压后,执行mvn package -DskipTests -Pdist native 编译。

    修改hadoop配置文件,etc/hadoop 目录下的配置文件core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml

        文件core-site.xml

    <configuration>
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://hadoop0:9000</value>
            </property>
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/usr/local/hadoop-2.2.0/tmp</value>
            </property>
            <property>
                     <name>fs.trash.interval</name>
                     <value>1440</value>
            </property>
    </configuration>

        文件hdfs-site.xml

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.permissions</name>
            <value>false</value>
        </property>
    </configuration>

        文件yarn-site.xml

    <configuration>
            <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
            </property>
    </configuration>

        文件mapred-site.xml

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

    启动

        启动——格式化:

        bin/hdfs namenode -format

        

        启动——hdfs

        sbin/hadoop-daemon.sh start namenode 对应端口:50070
        sbin/hadoop-daemon.sh start datanode

        启动——yarn
        sbin/yarn-daemon.sh start resourcemanager 对应端口:8088
        sbin/yarn-daemon.sh start nodemanager

        启动——historyserver

        sbin/mr-jobhistory-daemon.sh start historyserver

        测试上传:bin/hadoop fs -put LICENSE.txt /license

        hadoop1默认block大小是64兆,hadoop2默认大小是128兆

    测试单词计数:

        bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /license /out
        启动jobhistory 查看作业运行日志 sbin/mr-jobhistory-daemon.sh start historyserver
        hadoop应用在nodemanager上跑的。
        MapReduce的ApplicationMaster叫MRAppMaster
        nodemanager是有多个,resourcemanager只有一个

  • 相关阅读:
    html5 audio的语法以及属性和方法
    转自可可英语的文章,以激励我努力学习英语。
    Linux下怎么删除非空目录
    Unity脚本时间执行顺序
    一个高手很多同时又能学习英语的问答网站
    Unity中Time.deltaTime的含义及其应用
    用C++画心(转)
    web中将body占满整个页面的办法
    基于FPGA的LCD+CMOS视频采集显示使用小结
    基于iCamera测试500w摄像头-mt9p001,mt9p031,mt9p001模块小结
  • 原文地址:https://www.cnblogs.com/xiaolong1032/p/4638004.html
Copyright © 2011-2022 走看看