zoukankan      html  css  js  c++  java
  • RDD的创建方式

    package rdd.builder
    
    import org.apache.spark.rdd.RDD
    import org.apache.spark.{SparkConf, SparkContext}
    
    object Spark_01_RDD_Memory {
    
      def main(args: Array[String]): Unit = {
        //TODO 准备环境
        val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
        val sc = new SparkContext(sparkConf)
        //TODO 创建RDD
        //从内存中创建RDD,将内存中集合的数据作为处理的数据源
        val seq=Seq[Int](1,2,3,4)
    
        //parallelize并行
        //val rdd: RDD[Int] = sc.parallelize(seq)
        val rdd: RDD[Int] = sc.makeRDD(seq)
    
        rdd.collect().foreach(println)
        //TODO 关闭环境
        sc.stop()
      }
    }
    package rdd.builder
    
    import org.apache.spark.rdd.RDD
    import org.apache.spark.{SparkConf, SparkContext}
    
    object Spark_02_RDD_File {
    
      def main(args: Array[String]): Unit = {
        //TODO 准备环境
        val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
        val sc = new SparkContext(sparkConf)
        //TODO 创建RDD
        //从文件中创建RDD,将文件中的数据作为处理的数据源
        //path路径以当前环境的根目录为基准,可以写绝对路径,也可以写相对路径
        //val rdd: RDD[String] = sc.textFile("D:\SoftWare\IDEA\workspace\SparkStudy\datas\1.txt")
        //相对路径
        //val rdd: RDD[String] = sc.textFile("datas/1.txt")
        //目录名称
        //val rdd: RDD[String] = sc.textFile("datas")
        //通配符
        //val rdd: RDD[String] = sc.textFile("datas/1*.txt")
        //分布式存储系统路径
        val rdd: RDD[String] = sc.textFile("hdfs://master:9000/test")
        rdd.collect().foreach(println)
        //TODO 关闭环境
        sc.stop()
      }
    }
  • 相关阅读:
    软件测试经理工作职责
    测试经理的年终总结
    从0到1,如何快速搭建人才梯队?
    Centos 的常用命令总结
    Docker的常用命令总结
    Jenkins Android项目编译配置(完整版)
    linux CentOS 权限问题修复(chmod 777 -R 或者chmod 755 -R问题修复)
    基于gitlab的项目管理流程
    js 防抖动、重复提交、频繁点击
    GPUImage移植总结
  • 原文地址:https://www.cnblogs.com/dd110343/p/14310159.html
Copyright © 2011-2022 走看看