zoukankan      html  css  js  c++  java
  • 【Hadoop 分布式部署 六:环境问题解决和集群基准测试】

    环境问题:

        出现Temporary  failure  in  name  resolutionp-senior-zuoyan.com 的原因有很多,主要就是主机没有解析到,

        那就在hadoop的slaves 配置文件中 重新写一下主机名

        如果还是没有成功启动,就将slaves 文件删除,然后重新创建,可能原因就是因为在windows 环境下打开编辑

        文本中给添加了字符

    集群基准测试(实际环境中必须的):

          集群搭建完成以后

              1. 基本测试:(创建目录、上传文件、Yarn运行程序、看看服务是否启动、是否可能、简单应用、)

                  hdfs:读写操作  上传文件、读取内容

                  yarn :运行一个程序     将mapreduce程序运行在yarn上

               2.基准测试 :

                  测试集群性能

                    hdfs:写数据、读数据   

                 监控集群:

                     Cloudera

                     Cloudera Manager

                          * 部署  安装集群

                          * 监控集群  

                          *  配置 同步集群

                          *   预警 

                 (现在学习的搭建方式是手工搭建,如果机器多了,这种手工搭建的方式,就不适用了)

                  以后都是图形界面的工具化搭建方式!

  • 相关阅读:
    scrapy+pymongo爬取小说实战
    Scrapy的正确安装
    linux: 用户管理,文件传送
    Java日期时间处理总结
    Numpy快速入门
    python 文件与文件夹操作
    python文件基础
    26. 删除排序数组中的重复项
    1两数之和
    152乘积最大子数组
  • 原文地址:https://www.cnblogs.com/kangxinxin/p/9728122.html
Copyright © 2011-2022 走看看