zoukankan      html  css  js  c++  java
  • spark、hadoop集群添加节点

    1、首先添加hdfs的节点,将安装包上传到服务器,设置好环境变量。配置文件按之前spark集群搭建的那里进行修改。

     设置完成后,要对新节点新型格式化:

    # hdfs  dfs  namenode  -format

    生成公钥、私钥,配置免密登录:

    ssh-keygen   -t rsa   

    一直回车就好了,会在用户的家目录下生成.ssh目录,里面有公钥和私钥。需要处建一个新的文件叫authorized_keys,将自己的公钥和master服务器上的公钥都放到这个文件里面,并将自己的公钥copy到master服务器的authorized_keys文件里面。

    # chmod  600 authorized_keys

    然后将自己的主机名添加到所有的节点服务器的hosts文件里,并将其他的节点主机名也添加到自己的hosts文件里。

    启动服务:

    ./start-dfs.sh

    !然后在namenode,查看集群情况:

     # hdfs dfsadmin -report

    !最后还需要对hdfs负载设置均衡,因为默认的数据传输带宽比较低,可以设置为64M,即hdfs dfsadmin -setBalancerBandwidth 67108864

    !默认balancer的threshold为10%,即各个节点与集群总的存储使用率相差不超过10%,我们可将其设置为5%,启动Balancer:

      #sbin/start-balancer.sh -threshold 5

       等待集群自均衡完成

    2、添加spark节点

    上传spark的安装包,然后按之前集群上的配置文件进行修改:

    首先是将主机名添加到各自的hosts文件,并修改spark的conf目录下的slaves文件,将主机名添加到此处。

    启动服务:

    在master上:

    #./stop-all.sh

    #./start-all.sh

    访问spark服务器的8080端口,查看节点是否添加成功。

  • 相关阅读:
    shell脚本
    正则表达式和文本处理工具二
    正则表达式和文本处理工具
    Linux基础实操六
    Linux基础实操五
    caffe 试运行MNIST
    转 Windows+VS2013爆详细Caffe编译安装教程
    python一
    VS2008 C++ 调用MATLAB 2009b 生成的DLL .
    MFC抓网页
  • 原文地址:https://www.cnblogs.com/cuishuai/p/7795015.html
Copyright © 2011-2022 走看看