zoukankan      html  css  js  c++  java
  • CentOS下Hive搭建

    1. 前言

    前提是已经安装好了hadoop,我的hadoop搭建主要参考CSDN的博客,当然此次Hive环境的搭建主要也是参考这位博主的另外一个博客。不过我想将搭配过程中他的博客没有提到的几个点记录下来。

    2. MySQL安装

    主要参考的是这篇博客的,但是出现的第一个问题就是下载得太慢了。为此,我要记录的第一个点就是更换CentOS下yum的下载源。更新完下载源之后再按照步骤安装mysql。

    2.1 更换yum下载源

    主要参考的博客是这篇,基本按照代码一步步下来就没有问题。

    2.2 开启MySQL远程登录

    开启了远程登录后,就能在本地访问虚拟机上的MySQL数据库了,具体的操作参考这篇博文。我采用的是授权法,这样在我的workbench可以登入到虚拟机的MySQL数据库。
    屏幕快照 2019-06-19 15.44.40-w256

    3. Hive安装

    3.1 下载Hive

    下载网址,选择的是2.3.5版本。

    3.2 安装Hive和更改配置文件

    Hive仅需要在NameNode上安装即可,按照博客安装配置即可。安装过程中有一个值得注意的点便是使用vim对字符串的全局替换。在vim中使用下列代码可以将字符串${system:java.io.tmpdir}全部替换为/opt/hive/tmp

    :%s#${system:java.io.tmpdir}#/opt/hive/tmp#g
    

    还有一点就是对于文件中一些字符串的搜索,只需按下/,再在后面跟上需要查找的字符串即可,然后按小写的n查询下一个,大写的N查询上一个
    屏幕快照 2019-06-19 15.54.57-w1031

    3.2.1 修改hive-site.xml数据库相关的配置

    在更改javax.jdo.option.ConnectionURL字段的时候,我搜到的大多数博客包括我主要参考的这篇博客都是修改为<value>jdbc:mysql://192.168.114.128:3306/hive?createDatabaseIfNotExist=true</value>(mysql后跟的是ip地址+端口)。但是这样操作的话会有SSL警告,这是我安装好之后才发现的。

    然后我找到一篇博客解决了这个问题,这位博主的做法是将该字段修改成<value>jdbc:mysql://192.168.114.128:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>。亲测改完之后不会再有SSL警告。

    4. MySQL驱动包的下载

    下载网址
    选择黑框这个下载,之后用scp传输到虚拟机上的正确地址上屏幕快照 2019-06-19 16.06.12-w857

    5. 启动与测试

    安装参考博客来,先执行schematool -initSchema -dbType mysql,会发现在MySQL数据库中生成了hive数据库。
    屏幕快照 2019-06-19 16.09.51-w279

    然后按照博客随便启动hive命令行,在其中随意输入几个命令。所有的安装完毕!

  • 相关阅读:
    68
    56
    Django manager 命令笔记
    Django 执行 manage 命令方式
    Django 连接 Mysql (8.0.16) 失败
    Python django 安装 mysqlclient 失败
    H.264 SODB RBSP EBSP的区别
    FFmpeg—— Bitstream Filters 作用
    MySQL 远程连接问题 (Windows Server)
    MySQL 笔记
  • 原文地址:https://www.cnblogs.com/shayue/p/centos-xiahive-da-jian.html
Copyright © 2011-2022 走看看