zoukankan      html  css  js  c++  java
  • DataFrame映射表的形式

    临时表:针对SparkSession

      

      使用DF.createTempView("person")对数据集注册临时表

      通过spark.sql(.....)
      代码说明:
        df_rdd.createTempView("person")
        spark.sql("select * from person where name like '%0%'").show()
          +------+---+-------+
          | name|age|address|
          +------+---+-------+
          | joe| 39| CO|
          |alison| 35| NY|
          | bob| 71| CA|
          +------+---+-------+
          spark.newSession().sql("select * from person where name like '%o%'").show()
          抛异常:Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: person; line 1 pos 15

          原因:因为临时表不是全局的,它指在当前的SparkSession下可以使用,新创建的就不好使了。

     全局表:针对SparkApplication

      使用DF.createGlobalTempView("person")对数据集注册临时表
      代码说明:
        df_rdd.createGlobalTempView("person")
        spark.sql("select * from global_temp.person where name like '%o%'").show()
        spark.newSession().sql("select * from global_temp.person where name like '%o%'").show()
          +------+---+-------+
          | name|age|address|
          +------+---+-------+
          | joe| 39| CO|
          |alison| 35| NY|
          | bob| 71| CA|
          +------+---+-------+

  • 相关阅读:
    js操作cookies
    努力挣钱只是不希望我的爱情受到别人金钱的考验罢了
    ASP 删除字符串开始或/和末尾处指定字符(串)
    lhgdialog 窗体之间的传值
    vs2010教程开始
    打开某些网页时IE弹出安全警告
    flex 版本问题
    【jQuery插件】用于瀑布式布局(砖块)的插件jquery Masonry
    自动根据动态的intput计算值
    js日期格式“补零”
  • 原文地址:https://www.cnblogs.com/lyr999736/p/10204524.html
Copyright © 2011-2022 走看看