zoukankan      html  css  js  c++  java
  • hadoop伪分布式安装流程

    1.解压JDK1.8

    2.解压Hadoop 2.6.0 CDH 5.15.1

    3.配置JDK环境变量

    4.配置Hadoop环境变量

    5.修改配置文件

      1)/etc/hadoop/hadoop-env.sh 保证Java环境变量正确

      2)/etc/hadoop/core-site.xml 加入属性

    <property>

    <name>fs.default.name</name>

    <value>hdfs://hadoop000:8020</value>

    </property>

      3)hdfs-site 加入属性

    <property>

    <name>dfs.namenode.name.dir</name>

    <value>/home/hadoop/app/tmp/dfs/name</value>

    </property>

    <property>

    <name>dfs.datanode.data.dir</name>

    <value>/home/hadoop/app/tmp/dfs/data</value>

    </property>

    <property>

    <name>dfs.replication</name>

    <value>1</value>

    </property>

      4)mapred-site.xml.template 复制为 mapred-site.xml

    <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

    </property>

      5)yarm-site.xml

    <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

    </property>

    6首次使用需要格式化

    在bin中

    ./hadoop namenode -format

  • 相关阅读:
    SVN客户端的安装和使用
    SVN服务器的安装和使用
    ssh port forwarding
    mysql 索引
    ssh forwarding 配置
    pymongo collection.save 问题
    linux 实现VLAN
    linux 硬件中断调节
    M2Crypto
    python 时间四舍五入
  • 原文地址:https://www.cnblogs.com/TheGreatDead/p/11262504.html
Copyright © 2011-2022 走看看