zoukankan      html  css  js  c++  java
  • Hive环境搭建心得(Ubuntu)

    Hive是什么?

    基于Hadoop的数据查询工具,可以使用类SQL进行数据查询。

    Hadoop安装

    • 参考了Hadoop安装
    • 注意到etc/hadoop/hadoop-env.sh里设置JAVA_HOME,不然运行./start_dfs.sh会报没设置JAVA_HOME
    • 运行程序时,输出目录不能存在
    • 配置文件
      • hdfs的输出目录需要保证空间充足,我在虚拟机里玩,分配的磁盘空间太小,另外加了空间并挂载,重新设置了输出目录。

    Hive安装

    • 参考了安装hive
    • MetaStore用了MySQL,结果安装的驱动版本不正确,遇到MetaStoreClient lost connection. Attempting to reconnect。

    实践后感

    真正装环境的坑还是很多的,开始分配的虚拟机磁盘空间太小了,基本运行不了,jdbc驱动版本不正确都会导致Hive客户端开启后时常崩溃,配置文件的一些常用选项需要了解,如果出现问题可以有一个解决思路,当然Google还是常用些,实在解决不了如很难想到是jdbc驱动的原因,我就下了一份源码,定位到报错,通过代码推测了发生问题的地方。

    引用

  • 相关阅读:
    LeetCode.152
    python
    python
    python
    python
    python
    python
    python
    PyCharm2020.1激活码破解教程
    Python GUI编程(Tkinter)17、Menu鼠标右键菜单
  • 原文地址:https://www.cnblogs.com/pier2/p/5237006.html
Copyright © 2011-2022 走看看