zoukankan      html  css  js  c++  java
  • 005 Hadoop的三种模式区别

    1.本地模式

      -默认模式。

      -不对配置文件进行修改。

      -使用本地文件系统,而不是分布式文件系统。

      -Hadoop不会启动NameNode、DataNode、ResourceManager、NodeManager等守护进程,Map()和Reduce()任务作为同一个进程的不同部分来执行的。

      -用于对MapReduce程序的逻辑进行调试,确保程序的正确。

    2.伪分布式

      -在一台主机模拟多主机。

      -Hadoop启动NameNode、DataNode、ResourceManager、NodeManager这些守护进程都在同一台机器上运行,是相互独立的Java进程。

      -在这种模式下,Hadoop使用的是分布式文件系统,各个作业也是由ResourceManager服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常用来开发测试Hadoop程序的执行是否正确。

      -修改3个配置文件:core-site.xml(Hadoop集群的特性,作用于全部进程及客户端)、hdfs-site.xml(配置HDFS集群的工作属性)、mapred-site.xml(配置MapReduce集群的属性)

      -格式化文件系统

    3.完全分布式

      -Hadoop的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。

      -在所有的主机上安装JDK和Hadoop,组成相互连通的网络。

      -在主机间设置SSH免密码登录,把各从节点生成的公钥添加到主节点的信任列表。

      -修改3个配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml,指定NameNode和ResourceManager的位置和端口,设置文件的副本等参数

      -格式化文件系统

  • 相关阅读:
    机械设计手册
    如何在PADS的封装中做非金属化孔
    【Protle99SE】PCB中各层的含义【小汇】
    Stm32时钟分析
    头文件为什么要加#ifndef #define #endif
    android adb常用指令
    安装 SQLManagementStudio_x86_CHS(SQL Server Management Studio) 老提示重启的解决办法
    SQL 2008下载地址以及全新安装详细过程
    【原创】pads2007 Layout 电气连接性检查过孔显示错误
    十款最具发展前景机器人
  • 原文地址:https://www.cnblogs.com/juncaoit/p/7689557.html
Copyright © 2011-2022 走看看