b0107 大数据集群-2021伪分布式-运维

说明

todo  设计区分 哪些是 性能优化升级，哪些是排故障

Sqoop

Q2 Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf 20210808

描述

第一次执行 从mysql 导入表到 hive报错了.

在sqoop-env.sh 中已经指定了 HIVE_HOME,  

原因：

找不到hive lib 下的hive-common-2.X.X.jar, 可能是sqoop bug 或者 版本兼容问题. 我这里的hive是 这个时间最新的稳定版, 而sqoop只更新到 2017年底

解决：

到hive安装目录下找到那个jar包,复制到 sqoop/lib下

Q1 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils  20210808

描述

刚安装完sqoop 1.4.7 ,是最后的版本，2017年12月发布，准备测试。 

之前已经安装了hadoop 3.3  ， 配置了路径  

export HADOOP_COMMON_HOME=/opt/hadoop-3.3.1

export HADOOP_MAPRED_HOME=/opt/hadoop-3.3.1

 原因：

sqoop 很久没更新了，后来出了hadoop，可能目录结构变化了，导致找不到或者少了依赖的jar 包 /commons-lang-2.6.jar

解决

在hadoop 安装目录下 搜索 find -name *lang* ，找到这个jar包，然后复制到 sqoop/lib目录下

参考

https://blog.csdn.net/l1028386804/article/details/97135322

Hadoop

Q1 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

描述

刚安装完hadoop伪分布式,  命令行执行 mapreduce pi 程序时遇到。 具体细节参考下面的链接文章

解决

参考博文  https://blog.csdn.net/qq_29232943/article/details/103788404

在 yarn-site.xml 中加上 参数  yarn.application.classpath, 值为  命令行执行 hadoop classpath 的输出,  重启yarn

Hive

Spark

Hbase

Q2  FanOutOneBlockAsyncDFSOutputHelper 找不到错误 20210803

描述

hbase shell 启动后， master进程出现一会，又退出了， 查看master日志文件，发现这个错误

原因:

hadoop与hbase版本兼容,有一方组件出现新的特性，用一方不支持。

参考网友描述:

解决:

hbase-site.xml增加配置

<property>
   <name>hbase.wal.provider</name>
   <value>filesystem</value>
</property>

参考

• ref1 "Hbase 2.1.6安装配置教程（踩坑记录）, chuiguixin3900, 2019/0906"
• ref2 "Hbase踩坑记,weixin_34379433"

Q1 Could not start ZK at requested port of 2181. ZK was started at port: 2182. Aborting a  20210803

描述

安装hbase，配置完后，启动了hadoop，zookeeper， 然后启动hbase，没有成功，去看日志 ，发现里面是这个错误，如图

 原因

hbase 自带一个zookeeper

hbase-env.sh 中的参数 

export HBASE_MANAGES_ZK=false # 是否使用自带的zookeeper

hbase-site 中的参数 hbase.cluster.distributed 为false时， 表示启动自带zookeeper， 为true时，需要单独zookeeper。

这两个参数配置不对就冲突了

解决

改成

HBASE_MANAGES_ZK=false

hbase.cluster.distributed=true

启动单独的zookeeper

参考

ref1 "Could not start ZK at requested port of 2181. ZK was started at port: 2182. Aborting a"

相关

• 集群操作记录.txt (todo 设计)