zoukankan      html  css  js  c++  java
  • hadoop的安装和配置(二)伪分布模式

    博主会用三篇文章为大家详细的说明hadoop的三种模式:

    本地模式

    伪分布模式

    完全分布模式


     

    伪分布式模式:

    这篇为大家带来hadoop的伪分布模式:

    从最简单的方面来说,伪分布模式就是在本地模式上修改配置文件:

    core-site.xml;hdfs-site.xml;mapred-site.xml;yarn-site.xml4

    备注:本地模式见hadoop的安装与配置——第一章:本地模式

    思路简介

    |——————————|

    |  ①:ssh免密登陆   |

    |  ②:修改配置文件   |

    |  ③:格式化hadoop  |

    |  ④:启动hadoop     |

    |——————————|

    一:ssh的免密登陆

    生成id_rsa和id_rsa.pub

    [root@localhost hadoop]# ssh-keygen -t rsa
    

     

    进入/root/.ssh下:将id_rsa.pub的信息发在authorized_keys下:

    1 [root@localhost hadoop]# cd /root/.ssh/
    2 [root@localhost .ssh]# cat id_rsa.pub >> authorized_keys
    3 [root@localhost .ssh]# ls
    4 authorized_keys  id_rsa  id_rsa.pub  known_hosts

    SSH免密登陆详细文档链接地址


     

    二:关于配置文件的主要内容

    core-site.xml:指定hadoop的主节点master

    hdfs-site.xml:指定hadoop中的文件副本数

    mapred-site.xml:指定mapreduce的资源管理

    yarn-site.xml:——————————————

    配置文件可以从hadoop的官方文档中下载,有详细解释,这里为了减少对大家的干扰,就直接选取了部分:

     1 [root@localhost hadoop]# cd /usr/local/hadoop/etc/hadoop/
     2 [root@localhost hadoop]# pwd
     3 /usr/local/hadoop/etc/hadoop
     4 [root@localhost hadoop]# ls
     5 capacity-scheduler.xml      httpfs-env.sh            mapred-env.sh
     6 configuration.xsl           httpfs-log4j.properties  mapred-queues.xml.template
     7 container-executor.cfg      httpfs-signature.secret  mapred-site.xml
     8 core-site.xml               httpfs-site.xml          mapred-site.xml.template
     9 hadoop-env.cmd              kms-acls.xml             slaves
    10 hadoop-env.sh               kms-env.sh               ssl-client.xml.example
    11 hadoop-metrics2.properties  kms-log4j.properties     ssl-server.xml.example
    12 hadoop-metrics.properties   kms-site.xml             yarn-env.cmd
    13 hadoop-policy.xml           log4j.properties         yarn-env.sh
    14 hdfs-site.xml               mapred-env.cmd           yarn-site.xml

    core-site.xml配置修改:

    1 <configuration>
    2         <property>
    3                 <name>fs.default.name</name>
    4                 <value>hdfs://localhost</value>(主节点为本机localhost)
    5         </property>
    6 </configuration>

    hdfs-site.xml配置修改:

    1 <configuration>
    2         <property>
    3                 <name>dfs.replication</name>
    4                 <value>1</value>(伪分布模式)
    5         </property>
    6 </configuration>

    mapred-site.xml配置修改:

    备注:

    1 若没有mapred-site.xml,选择以下方法复制
    2 [root@localhost hadoop]# cp mapred-site.xml.template mapred-site.xml
    1 <configuration>
    2         <property>
    3                 <name>mapreduce.framework.name</name>
    4                 <value>yarn</value>(选择yarn来mapreduce)
    5         </property>
    6 </configuration>

    yarn-site.xml配置修改:

     1 <configuration>
     2         <property>
     3                 <name>yarn.resourcemanager.hostname</name>
     4                 <value>localhost</value>
     5         </property>
     6         
     7         <property>
     8                 <name>yarn.nodemanager.aux-services</name>
     9                 <value>mapreduce_shuffle</value>
    10         </property>
    11 </configuration>

     


     

    三:格式化hadoop

    hadoop namenode -format
    

     

    格式化一次就好了


     

    四:启动hadoop

    start-all.sh

    备注:关闭hadoop:stop-all.sh

    想要知道hadoop是否配置成功,那么就使用jps来查询一下进程吧!

    我们知道hadoop主要分为存储和计算,所以我们主要查询一下存储和计算的进程是否启动:

    1 [root@localhost hadoop]# jps
    2 31105 NodeManager(从)(计算)
    3 30675 SecondaryNameNode(主-副本)(计算)
    4 31139 Jps
    5 30822 ResourceManager(主)(计算)
    6 30510 DataNode(从)(存储)
    7 30382 NameNode(主)(存储)

    有不清楚的地方欢迎大家提问,有问题欢迎大家给出方法!

    2017-12-26 15:32:06

     


     

    本文版权声明:

    本文作者:魁·帝小仙

    博文主页地址:http://www.cnblogs.com/dxxblog/

    欢迎对小博主的博客内容批评指点,如果问题,可评论或邮件联系(2335228250@qq.com)

    欢迎转载,转载请在文章页面明显位置给出原文链接,谢谢

     

  • 相关阅读:
    【移动安全基础篇】——30、class.dex文件格式讲解
    【移动安全基础篇】——29、Android源码定制添加反反调试机制
    【移动安全基础篇】——28、Apk加固
    【移动安全基础篇】——27、常用调试检测方法与过检测方法
    【移动安全基础篇】——26、两个简单app破解
    粒子特效优化
    android studio生成aar包
    AndroidManifest
    声音
    unity webview
  • 原文地址:https://www.cnblogs.com/dxxblog/p/8118254.html
Copyright © 2011-2022 走看看