zoukankan      html  css  js  c++  java
  • hadoop cdh 后启动群起脚本总是起不起来的一些坑

        最近都在流行大数据什么的,然后偶然之间加入了一个物联网的小公司,可以使用hadoop 来做数据分析,于是心中窃喜,可以有机会接触大数据了,从此走上人生巅峰赢取白富美。

        可是成功的道路总不是一帆风顺滴,从我开始接触这玩意儿,到现在大概有一个多月了,但是我居然还在搭环境。。。我丢你老牟,这个hadoop的环境怎么这么复杂,这是人干的事?能不能像springboot 一样做一些简单化的配置就行呢?搞死我了。。

        首先第一个问题:

          因为启动haoop要启动好多相关联的东西比如说:

          hadoop-daemon.sh start namenode

          hadoop-daemon.sh start datanode

          hadoop-daemon.sh start secondarynamenode

          yarn-daemon.sh start resourcemanager

          yarn-daemon.sh start nodemanager

          mr-jobhistory-daemon.sh start historyserver

          一个启动要启动这个多命令,你咋不上天呢?,我写命令 的时候写错了几个字就一直报错找不到主类异常,我顶你个肺,又没有详细的明细,搞得我查了半天以为是配置错了,搞半天是命令打错了。。。

        第二个:

          启动namenode没启动起来,然后报错一直报文件夹没有找到data这个文件夹,然后我创建了,不行,又少了一个文件夹,我又创建了一个。。结果我顶你个肺搞半天是namenode没有格式化,然后我又起来格式化,格式化不成功,又爆了一个错是说链接不上其他的节点然后我顶你个肺,我就ping了一下,ping德通啊。。是什么元婴呢?

          于是我到网上各种找解决方案,终于找到了一个。。

          解决方案一:

          在各JournalNode节点上,输入以下命令启动journalnode服务:

          sbin/hadoop-daemon.sh start journalnode:

          然后格式化就没问题了

     
          解决方案二:
          HA模式第一次或删除格式化版本后格式化失败,报如上错误:
          解决方案: 
          先启动 ./start-dfs.sh
          再进行 格式化,则成功
          我用的是第二个解决方案,终于解决了,搞半天要先启动dfs才能格式化,我顶你个肺然后继续踩坑了。。我觉得我一定要征服hadoop因为如果不能走入潮流的就会被淘汰,所以我得做潮流中的嫩草儿嘻嘻
  • 相关阅读:
    开发过程中解决各种跨域问题
    使用vux的x-input组件中show-clear=“true”清除icon点击失效的问题
    Vue项目使用域名访问配置
    Taro 压缩图片api
    javascript实现继承的4种方法,以及它们的优缺点
    解决window.opener.obj instanceof Object会输出false的问题
    javascript实现引用数据类型的深拷贝和浅拷贝详解
    javascript检测基本类型值或引用类型值的类型方法
    git merge合并时遇上refusing to merge unrelated histories的解决方案
    vue-router+webpack线上部署时单页项目路由,刷新页面出现404问题
  • 原文地址:https://www.cnblogs.com/rey888/p/11211671.html
Copyright © 2011-2022 走看看