037 SparkSQL ThriftServer服务的使用和程序中JDBC的连接

一：使用

1.实质

　　提供JDBC/ODBC连接的服务

　　服务运行方式是一个Spark的应用程序，只是这个应用程序支持JDBC/ODBC的连接，

　　所以：可以通过应用的4040页面来进行查看操作

2.启动服务

　　

3.配置（已经被隐含）

　　1. 配置thriftserver2的ip地址和端口号
　　　　修改hive-site.xml文件
　　　　hive.server2.thrift.port=10000
　　　　hive.server2.thrift.bind.host=localhost
　　2. 集成Hive环境(类似SparkSQL)
　　3. 启动服务
　　　　$ sbin/start-thriftserver.sh
　　　　$ sbin/stop-thriftserver.sh
　　4. 测试

　　

二：测试

重要的是需要哪些服务的开启。

1.前提

　　首先是hadoop的两个服务要开启

　　然后是hive 的metastore

　　然后启动spark-shell，如果没有启动hive的metastore，则会在这一步报错，说找不到hive的9083端口。至于启动spark-shell，则是为了看4040端口上的JDBS/ODBC服务

　　然后启动hive thriftservice

　　

 

2.测试

　　命令行测试，使用beeline脚本连接

　　上面的截图已经操作了。

　　

3.界面（4040端口）

　　

4.测试sql语句

　　测试一：

 　　

　　测试二：

　　

三：程序

1.结构

　　

2.添加依赖包

　　

3.程序

package com.scala.it

import java.sql.DriverManager

object ThriftserverDemo {
  def main(args: Array[String]):Unit= {
    //add driver
    val driver="org.apache.hive.jdbc.HiveDriver"
    Class.forName(driver)

    //get connection
    val (url,username,userpasswd)=("jdbc:hive2://linux-hadoop01.ibeifeng.com:10000","beifeng","beifeng")
    val connection=DriverManager.getConnection(url,username,userpasswd)

    //get statement
    connection.prepareStatement("use hadoop09").execute()
    val sql="select * from student"
    val statement=connection.prepareStatement(sql)

    //get result
    val rs=statement.executeQuery()
    while(rs.next()){
      println(s"${rs.getInt(1)}:${rs.getString(2)}")
    }

    //close
    rs.close()
    statement.close()
    connection.close()
  }
}

4.运行结果