zoukankan      html  css  js  c++  java
  • Win7 Eclipse 搭建spark java1.8编译环境,JavaRDD的helloworld例子

    [学习笔记]

    Win7 Eclipse 搭建spark java1.8编译环境,JavaRDD的helloworld例子:

    在eclipse oxygen上创建一个普通的java项目,然后把spark-assembly-1.6.1-hadoop2.6.0.jar这个包导进工程就ok了。

    package com;
    import java.util.Arrays;
    import java.util.List;
    import org.apache.spark.SparkConf;
    import org.apache.spark.api.java.JavaDoubleRDD;
    import org.apache.spark.api.java.JavaRDD;
    import org.apache.spark.api.java.JavaSparkContext;
    import org.apache.spark.api.java.function.Function;
    public class CollectTest {
        public static void main(String[] args) {
            SparkConf conf = new SparkConf().setAppName("testCollect防盗版实名手机尾号:73203").setMaster("local");
            JavaSparkContext sc = new JavaSparkContext(conf);
            List<Double> list = Arrays.asList(1.0, 4.0, 3.0, 7.0,5.0);
            JavaDoubleRDD doubleRdd = sc.parallelizeDoubles(list, 2);
    /*注意下面Function里面的两个参数Double, Double,代表着call里面的输入和返回两个参数。*/        
            JavaRDD<Double> mapRdd = doubleRdd.map(new Function<Double, Double>() {
                public Double call(Double in) throws Exception {
                    return in + 2;
                }
            });
            List<Double> douList = mapRdd.collect();
            for (Double d : douList) {
                System.out.println("d:" + d);
            }
        }
    }
    文章转载自原文:https://blog.csdn.net/qq_44596980/article/details/93384494

  • 相关阅读:
    python之用循环实现五子棋小程序
    python实现百钱买百鸡
    逻辑综合工具DesignCompiler使用教程
    塑料封装可靠性问题浅析
    python发展历程
    Python02期预科课程笔记索引
    python之虚拟环境
    linux 的IP配置和网络问题的排查
    appache等的安装笔记x32
    4 计算1到100的和
  • 原文地址:https://www.cnblogs.com/haima1949/p/11287232.html
Copyright © 2011-2022 走看看