zoukankan      html  css  js  c++  java
  • 使用Vagrant搭建Hadoop集群踩过的坑

    最近使用Vagrant搭建了一个有3台主机的Hadoop集群,使用的是Cloudera Manager来管理,最初在我的笔记本上虚拟了4台主机,一台最为cloudera Manager Server,其他几台运行cloudera Manager Agent,在本机运行正常后,发现内存占用太厉害,我打算迁移两台运行Agent的到另外一台工作电脑,于是使用Vagant Package打包,并在另外一台机器上Vagrant Box Add和Vagrant up,启动后,登录cloudera manager管理界面查看,结果发现迁移的两台主机找不到,而不停的刷新页面的话,显示是原来运行Agent的三台机器,除vm-cluster-node1外,另外一个主机刷新一次便在node2,node3和node4之间轮流出现,而不能4台机器同时出现,初步怀疑是因为用node1进行的package,所以agent已经包含为node1的agent配置信息。

    于是我运行一下脚本将node3和node4中的agent service都删除了

    1 sudo /usr/sbin/service cloudera-scm-agent hard_stop_confirmed
    2 sudo apt-get purge 'cloudera-manager-*'
    3 sudo apt-get clean 

    然后从cloudera manager管理界面重新加入node3和node4,在加入之前,我又把清理掉agent的机器又从新package,希望能以后重复利用

    重新加入的过程又很漫长,得下载400多M的manager agent包,能有朋友遇到同样问题吗?如何能够不卸载包,只修改配置使迁移成功??

  • 相关阅读:
    winform+cefSharp实现窗体加载浏览器
    C# 实现Mqqtnet 客户端,订阅发布信息
    winform+CefSharp 实现和js交互
    C# 读取INI文件
    H5+asp.net 微信开发 遇到过的坑
    C#读取Excel文件,准换为list
    vmware pro 15.5.5 官方下载地址
    IOS部分APP使用burpsuite抓不到包原因
    CVE-2020-0796 SMBv3本地提权
    网络摄像头rtsp协议登录认证
  • 原文地址:https://www.cnblogs.com/gujingshui/p/4153403.html
Copyright © 2011-2022 走看看