zoukankan      html  css  js  c++  java
  • hadoop全分布式的搭建

    修改主机名:vim /etc/sysconfig/network

    1 修改 hadoop-env.sh

     

    2 修改core-site.xml

     

    /hadoop/tmpdir: 产生 namenodefsimasage edits文件 合并元数据

    3 修改 hdfs-site.xml

     

    4 yarn-site.xml

    <property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <!--RPC的地址,并且用于分配资源的端口 -->

    <value>haha:8030</value>

    </property>

    ResourceManager: ---->     application manager(服务)          appMasterRM-container()

                             Scheduler:    专注于:AM----->RM (资源)

     

    5 mapred-site.xml

     

    6 修改 slaves   (从节点指定出来)

     

    从节点配置三台

    7  分发

     scp -r hadoop/ root@Linux03:/root/Downloads/hadoop-2.6.5/etc/

    8 把集群进行格式化:hdfs namenode -format

    9 免密:  ssh-keygen -t rsa ---->.ssh (删除)  

    9.1 配置haha -->Linux02   ssh-copy-id Linux02    haha->Linux03  Linux02->haha    Linux02-Linux03   Linux03 ->haha  Linux03 --->02

       自己:ssh-copy-id 自己

    10启动 机器  :  start-all.sh  (hdfs,yarn)  start-dfs.sh     start-yarn.sh

    11 web上查看启动的进程

    Hdfs:--->主机名:50070

    Yarn ---->主机名:8088

  • 相关阅读:
    linux之正则表达式
    ssh远程连接centos
    centOS网络配置
    linux软件包的管理
    linux内存、进程管理
    cent_os_7进行磁盘分区
    linux文件压缩、磁盘分区、vi和软硬链接
    linux用户、群操作命令和文件权限修改
    c#控制台程序
    c#简易程序解释1
  • 原文地址:https://www.cnblogs.com/sx66/p/10681216.html
Copyright © 2011-2022 走看看