zoukankan      html  css  js  c++  java
  • spark中各种连接操作以及有用方法

     val a = sc.parallelize(Array(("123",4.0),("456",9.0),("789",9.0))
         val b = sc.parallelize(Array(("123",8.0),("789",10)))
    
        val c = a.join(b)
        c.foreach(println)
        /*
        (123,(4.0,8.0))
        (789,(9.0,10))
         */
        val d = a.cogroup(b)
        d.foreach(println)
        /*
        (456,(CompactBuffer(9.0),CompactBuffer()))
        (123,(CompactBuffer(4.0),CompactBuffer(8.0)))
        (789,(CompactBuffer(9.0),CompactBuffer(10)))
        */
        val e = a.leftOuterJoin(b)
        e.foreach(println)
        /*
          (456,(9.0,None))
          (123,(4.0,Some(8.0)))
          (789,(9.0,Some(10)))
          */
        val f = a.fullOuterJoin(b)
        f.foreach(println)
        /*
          (456,(Some(9.0),None))
          (123,(Some(4.0),Some(8.0)))
          (789,(Some(9.0),Some(10)))
          */
        val g = a.cartesian(b)
        g.foreach(println)
        /*
    ((123,4.0),(123,8.0))
    ((123,4.0),(789,10))
    ((456,9.0),(123,8.0))
    ((456,9.0),(789,10))
    ((789,9.0),(123,8.0))
    ((789,9.0),(789,10))
          */
        /*val h = a.coalesce(6,true)
        h.foreach(println)
        a.dependencies.foreach(println)*/
        val i = a.keyBy{case (k,v)=>("haha",234)}
        i.foreach(println)
        /*
          ((haha,234),(123,4.0))
          ((haha,234),(456,9.0))
          ((haha,234),(789,9.0))
         */

  • 相关阅读:
    物理好题随想
    学案12:电场强度和静电现象
    vscode插件记录
    windows使用总结
    元素周期律 + 元素周期表
    酸碱理论
    氮族元素——磷
    氮族元素——氮
    碱金属元素
    SDN第一次上机实验
  • 原文地址:https://www.cnblogs.com/yxwkf/p/5160024.html
Copyright © 2011-2022 走看看