zoukankan      html  css  js  c++  java
  • DataFrame映射表的形式

    临时表:针对SparkSession

      

      使用DF.createTempView("person")对数据集注册临时表

      通过spark.sql(.....)
      代码说明:
        df_rdd.createTempView("person")
        spark.sql("select * from person where name like '%0%'").show()
          +------+---+-------+
          | name|age|address|
          +------+---+-------+
          | joe| 39| CO|
          |alison| 35| NY|
          | bob| 71| CA|
          +------+---+-------+
          spark.newSession().sql("select * from person where name like '%o%'").show()
          抛异常:Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: person; line 1 pos 15

          原因:因为临时表不是全局的,它指在当前的SparkSession下可以使用,新创建的就不好使了。

     全局表:针对SparkApplication

      使用DF.createGlobalTempView("person")对数据集注册临时表
      代码说明:
        df_rdd.createGlobalTempView("person")
        spark.sql("select * from global_temp.person where name like '%o%'").show()
        spark.newSession().sql("select * from global_temp.person where name like '%o%'").show()
          +------+---+-------+
          | name|age|address|
          +------+---+-------+
          | joe| 39| CO|
          |alison| 35| NY|
          | bob| 71| CA|
          +------+---+-------+

  • 相关阅读:
    java修饰符 protect public protected
    java中interface使用
    java中super的用法
    引用的一道JAVA题目
    java中==和equals的区别(转)
    2019PHP面试题最全面归纳总结
    (一)PHP基础知识考察点
    Linux常用命令大全(非常全!!!)
    MAMP mysql无法启动 总结(以后有发现再添加)
    win 安装composer (详细教程)
  • 原文地址:https://www.cnblogs.com/lyr999736/p/10204524.html
Copyright © 2011-2022 走看看