zoukankan      html  css  js  c++  java
  • SparkSQL JDBC和JDBCServer区别

    注意SparkSQL JDBC和SparkSQL JDBCSever是完全两种不同的场景。

    SparkSQL JDBC

    SparkSQL可以使用JDBC的方式访问其他数据库,和普通非spark程序访问jdbc的方式相同。只是Spark中访问jdbc提供了接口能够将得到的数据转化成DataFrame。而操作数据库的过程和Spark没什么关系。这个功能优先于使用JDBCRDD。因为它返回一个DataFrame,而DataFrame在SparkSQL中具有更加丰富的API,操作更加简单,由于其具有结构化schema,所以更容易个来自其他的半结构化和结构化数据源的数据进行交互关联。

    val jdbcDF = sqlContext.read.format("jdbc").options( Map("url" -> "jdbc:postgresql:dbserver", "dbtable" -> "schema.tablename")).load() 

    SparkSQL JDBCServer

    SparkSQL JDBCServer是Spark提供的一个独立运行的driver,用于在其他应用中执行SparkSQL查询。例如其他的非Spark应用,可能处于数据共享的原因,需要在一个Spark集群上面执行一个SQL操作,它本身和Spark没有什么关系,也不需要安装Spark运行环境,只是通过Spark提供的JDBC接口(不同于上面说的接口)将SQL命令下发到SparkSQL,后续的工作就是JDBCServer的事情了。

  • 相关阅读:
    单链表
    找最长最短字符串
    注解
    Json字符串
    java的反射机制
    java类的加载与加载器
    String StringBuilder StringBuffer
    查看运行某类时当前的进程状态
    迷宫小游戏
    类的初始化过程、super关键字与函数绑定
  • 原文地址:https://www.cnblogs.com/maxigang/p/10156960.html
Copyright © 2011-2022 走看看