zoukankan      html  css  js  c++  java
  • hadoop环境搭建

    1.配置文件:

    (1)hadoop-env.sh,添加JAVA_HOME

    export JAVA_HOME=/home/qian/app/jdk1.8.0_171

    (2)core-site.xml,添加参数

    <configuration>
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://192.168.1.143:8020</value>
            </property>
    
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/home/qian/app/tmp</value>
            </property>
    </configuration>

    (3)hdfs-site.xml,添加参数

    <configuration>
            <property>
                    <name>dfs.replication</name>
                    <value>1</value>
            </property>
    </configuration>

    (4)mapred-site.xml,添加参数

    <configuration>
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
    
    </configuration>

    (5)slaves ,修改ip

    192.168.1.143

    (6)yarn-site.xml ,添加参数

    <configuration>
    
    <!-- Site specific YARN configuration properties -->
            <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>192.168.1.143</value>
            </property>
    </configuration>

    2.运行hadoop以及yarm:

    (1)hadoop脚本:

    start-dfs.sh

    (2)yarm脚本:

    start-yarn.sh

    (3)查看运行情况:

    jps

    如图:      

    hdfs

    yarm

    4)测试yarm:

    hadoop jar /home/qian/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3

    以上就是搭建hadoop环境。

  • 相关阅读:
    Servlet介绍(一)
    iOS Dev (50)用代码实现图片加圆角
    Codeforces Round #265 (Div. 2) D. Restore Cube 立方体推断
    JVM:垃圾回收机制和调优手段
    Memcachedclient-XMemcached使用
    JVM中类的卸载机制
    血型统计
    iOS 事件传递及响应过程
    java 对象参数去空格方式
    spring aop 一个挡板例子
  • 原文地址:https://www.cnblogs.com/BigStupid/p/9767453.html
Copyright © 2011-2022 走看看