zoukankan      html  css  js  c++  java
  • hadoop完全分布式

    完全分布式:每台机器运行一个进程的服务

    需要在多台计算机上分别运行主节点和从节点。在这种模式下,Hadoop的相关进程分别运行在多个节点上,形成一个真正意义上的集群。

    注意:每台机器的配置是相同的

    1.下载Hadoop。
      这一步,和伪分布式一样,需要注意的是,在slave1和slave2上需做同样的动作。

      2.安装Hadoop。
      这一步,和伪分布式一样,需要注意的是,在slave1和slave2上需做同样的动作。

      3.配置Hadoop。
      在这一步,需要注意的是,master、slave1和slave2上必须要保持一样的配置。

      第1个:hadoop-env.sh,保持不变。

      第2个:core-site.xml,保持不变。

      第3个:hdfs-site.xml。因为现在有2个从节点,所以将数据副本数量设置为2:

    <property>

    ​ <name>dfs.replication</name>

    ​ <value>2</value>

    </property>

    <property>

    ​ <name>dfs.secondary.http.address</name>

    ​ <value>192.168.128.131:50090</value>

    </property>
    copy
      第4个:mapred-site.xml,保持不变。

      第5个:yarn-site.xml,保持不变。

      第6个:slaves。需要改写:

    slave1

    slave2

    修改完成后将hadoop文件复制到其他机器。注意,删除tmp文件。

    rm -rf hadoop/tmp

    格式化文件格式

    hdfs namenode -format

    启动:

    start-dfs.sh

    start-yarn.sh

    访问

    dfs--webui

    http://192.168.10.100:50070/

    yarn-ui

    http://192.168.10.100:8088/cluster/nodes

    停止:

    stop-yarn.sh

    start-dfs.sh

    菜鸟的自白
  • 相关阅读:
    springmvc的单文件上传
    使用Eclipse创建maven项目
    @responseBody注解的使用
    Oracle-怎么在表的特定位置增加列
    Oracle-创建新表,创建备份表,对表中插入多条数据
    EXCEL-排名前三名显示小红旗,后三名显示小黑旗
    Hive-insert into table 与 insert overwrite table 区别
    数仓工具介绍
    Hive-删除表(drop、truncate的区别)
    EXCEL-批量修改列宽
  • 原文地址:https://www.cnblogs.com/lzjloveit/p/14443138.html
Copyright © 2011-2022 走看看