环境:Ubuntu14.04 Hadoop3.2.0 MySQL5.7 hive2.3.6
安装步骤:安装hive、MySQL并进行配置
安装过程参照:Ubuntu安装hive,并配置mysql作为元数据库 MySQL安装参照:Ubuntu安装MySQL及常用操作
安装过程中出现很多问题:
1.hive版本问题:Unrecognized Hadoop major version number: 3.x.x exception;
原因:第一次安装时使用hive1.x.x版本与Hadoop3.2可能出现不兼容,
搜索后发现hive版本 1.2.1 支持Hadoop 1.x.y, 2.x.y,换用更高版本的hive后没有再出现这个问题。
2.MySQL jdbc 包:使用与自己mysql相匹配的包
mysql-connector-java_8.0.18下载地址 mysql-connector-java-5.1.48下载地址(点击右侧Looking for previous GA versions?)
3.service mysql start启动MySQL服务器:出现 start:未知任务: mysql
在前面添加sudo sudo service mysql start;
即可启动MySQL服务,关闭操作相同sudo service mysql stop;
4.Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path:
hive 启动或操作中出现错误,
原因:没有设置path路径(ubuntu中编辑~/.bashrc文件vim~/.bashrc后仍需到xml中配置)
将usr/local/hive/conf 路径下的hive-default.xml.template 复制并重命名为hive-default.xml并在里面添加 HADOOP_HOME=/usr/local/hadoop
5.同上位置将hive-default.xml.template复制并重命名为hive-default.xml
6.创建table时出现
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
在终端执行 schematool -dbType mysql -initSchema
以上就是在安装hive过程中出现的一些错误,都是一些细小的问题,稍不留意就会出现问题。