zoukankan      html  css  js  c++  java
  • SparkSQL JDBC和JDBCServer区别

    注意SparkSQL JDBC和SparkSQL JDBCSever是完全两种不同的场景。

    SparkSQL JDBC

    SparkSQL可以使用JDBC的方式访问其他数据库,和普通非spark程序访问jdbc的方式相同。只是Spark中访问jdbc提供了接口能够将得到的数据转化成DataFrame。而操作数据库的过程和Spark没什么关系。这个功能优先于使用JDBCRDD。因为它返回一个DataFrame,而DataFrame在SparkSQL中具有更加丰富的API,操作更加简单,由于其具有结构化schema,所以更容易个来自其他的半结构化和结构化数据源的数据进行交互关联。

    val jdbcDF = sqlContext.read.format("jdbc").options( Map("url" -> "jdbc:postgresql:dbserver", "dbtable" -> "schema.tablename")).load() 

    SparkSQL JDBCServer

    SparkSQL JDBCServer是Spark提供的一个独立运行的driver,用于在其他应用中执行SparkSQL查询。例如其他的非Spark应用,可能处于数据共享的原因,需要在一个Spark集群上面执行一个SQL操作,它本身和Spark没有什么关系,也不需要安装Spark运行环境,只是通过Spark提供的JDBC接口(不同于上面说的接口)将SQL命令下发到SparkSQL,后续的工作就是JDBCServer的事情了。

  • 相关阅读:
    tinymce富文本的实践(vue)
    package.json 版本号说明
    Java注解代码生成
    swagger注释API :@ApiModel ....
    Vue的生命周期函数和beforeRouteEnter()/beforeRouteLeave()函数
    各类程序员学习路线图
    mock.js的使用方法
    推荐使用rpx替代upx的公告
    DispatcherServlet解读
    学会fetch的用法
  • 原文地址:https://www.cnblogs.com/maxigang/p/10156960.html
Copyright © 2011-2022 走看看