zoukankan      html  css  js  c++  java
  • Spark-Core RDD转换算子-双Value型交互

    1、union(otherDataSet)

    作用求并集. 对源 RDD 和参数 RDD 求并集后返回一个新的 RDD

    scala> val rdd1 = sc.parallelize(1 to 6)
    scala> val rdd2 = sc.parallelize(4 to 10)
    scala> val rdd3 =  rdd1.union(rdd2)
    
    scala> rdd3.collect
    res1: Array[Int] = Array(1, 2, 3, 4, 5, 6, 4, 5, 6, 7, 8, 9, 10)
    

    union和++是等价的

    2、subtract(otherDataSet)

    作用: 差集. 从原 RDD 中减去 原 RDD 和otherDataset 中的共同的部分.

    scala> rdd1.subtract(rdd2).collect
    res4: Array[Int] = Array(1, 2, 3)
    
    scala> rdd2.subtract(rdd1).collect
    res5: Array[Int] = Array(7,8,9,10)
    

    3、intersection(otherDataSet)

    作用: 交集. 对源 RDD 和参数 RDD 求交集后返回一个新的 RDD

    scala> rdd1.intersection(rdd2).collect
    res8: Array[Int] = Array(4, 6, 5)
    

    4、cartesian(otherDataSet)

    作用: 计算 2 个 RDD 的笛卡尔积. 尽量避免使用

    scala> rdd1.cartesian(rdd2).collect
    res11: Array[(Int, Int)] = Array((1,4), (1,5), (1,6), (2,4), (2,5), (2,6), (3,4), (3,5), (3,6), (1,7), (1,8), (1,9), (1,10), (2,7), (2,8), (2,9), (2,10), (3,7), (3,8), (3,9), (3,10), (4,4), (4,5), (4,6), (5,4), (5,5), (5,6), (6,4), (6,5), (6,6), (4,7), (4,8), (4,9), (4,10), (5,7), (5,8), (5,9), (5,10), (6,7), (6,8), (6,9), (6,10))
    

    5、zip(otherDataSet)

    作用: 拉链操作. 需要注意的是, 在 Spark 中, 两个 RDD 的元素的数量和分区数都必须相同, 否则会抛出异常.(在 scala 中, 两个集合的长度可以不同)

    其实本质就是要求的每个分区的元素的数量相同.
    scala> val rdd1 = sc.parallelize(1 to 5)
    scala> val rdd2 = sc.parallelize(11 to 15)
    
    scala> rdd1.zip(rdd2).collect
    res1: Array[(Int, Int)] = Array((1,11), (2,12), (3,13), (4,14), (5,15))
    
  • 相关阅读:
    组合数
    2019牛客暑期多校训练营第一场 E ABBA
    2019牛客暑期多校训练营(第一场) H XOR
    POJ-1742Coins
    POJ 1384 Piggy-Bank
    operator.itemgetter函数
    常用内置模块之itertools
    解决Django REST framework中的跨域问题
    关于模板渲染冲突的问题
    什么是跨域?以及如何解决跨域问题?
  • 原文地址:https://www.cnblogs.com/hyunbar/p/12045598.html
Copyright © 2011-2022 走看看