zoukankan      html  css  js  c++  java
  • 【Hadoop 分布式部署 六:环境问题解决和集群基准测试】

    环境问题:

        出现Temporary  failure  in  name  resolutionp-senior-zuoyan.com 的原因有很多,主要就是主机没有解析到,

        那就在hadoop的slaves 配置文件中 重新写一下主机名

        如果还是没有成功启动,就将slaves 文件删除,然后重新创建,可能原因就是因为在windows 环境下打开编辑

        文本中给添加了字符

    集群基准测试(实际环境中必须的):

          集群搭建完成以后

              1. 基本测试:(创建目录、上传文件、Yarn运行程序、看看服务是否启动、是否可能、简单应用、)

                  hdfs:读写操作  上传文件、读取内容

                  yarn :运行一个程序     将mapreduce程序运行在yarn上

               2.基准测试 :

                  测试集群性能

                    hdfs:写数据、读数据   

                 监控集群:

                     Cloudera

                     Cloudera Manager

                          * 部署  安装集群

                          * 监控集群  

                          *  配置 同步集群

                          *   预警 

                 (现在学习的搭建方式是手工搭建,如果机器多了,这种手工搭建的方式,就不适用了)

                  以后都是图形界面的工具化搭建方式!

  • 相关阅读:
    你不一定懂的cpu显示信息
    WebService之nginx+(php-fpm)结构模型剖析及优化
    Linux企业运维人员最常用150个命令汇总
    企业级Tomcat部署实践及安全调优
    CentOS 7.X 系统安装及优化
    Linux Sysstat性能监控工具安装及常见8个命令使用例子
    Linux监控命令整理(top,free,vmstat,iostat,mpstat,sar,netstat)
    Tomcat+redis+nginx配置
    循环控制-链表删除结点
    循环控制-链表反转(与创建链表)
  • 原文地址:https://www.cnblogs.com/kangxinxin/p/9728122.html
Copyright © 2011-2022 走看看