zoukankan      html  css  js  c++  java
  • spark 编程教程

    参考:

    英文:https://spark.apache.org/docs/latest/programming-guide.html

    中文:http://www.cnblogs.com/lujinhong2/p/4651025.html 1.2.1版本的

    (一)快速入门

    老规矩,先看一个简单示例,有个认识。这个示例来自官方example的SparkPi:

    package org.lujinhong.demo.spark
    
    /*
     * 官方的sparkPi示例
     */
    
    import scala.math.random
    
    import org.apache.spark._
    
    /** Computes an approximation to pi */
    object SparkPi {
      def main(args: Array[String]) {
        val conf = new SparkConf().setAppName("Spark Pi").setMaster("local")
        val spark = new SparkContext(conf)
        val slices = if (args.length > 0) args(0).toInt else 2
        val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow
        val count = spark.parallelize(1 until n, slices).map { i =>
          val x = random * 2 - 1
          val y = random * 2 - 1
          if (x*x + y*y < 1) 1 else 0
        }.reduce(_ + _)
        println("Pi is roughly " + 4.0 * count / n)
        spark.stop()
      }
    
    }

    注意以上的setMaster(“local”)是自己加上去的,方便直接在本地运行。如果在集群上运行,则通过spark-submit的—master参数指定。

    写好代码后,就可以直接在eclipse中右键—>运行了。

  • 相关阅读:
    UVa-129
    UVa-524
    有点迷茫
    北邮之行~
    UVa-253
    心累--期末考试成绩
    UVa-220 Othello
    UVa-201 Squares
    UVA-1589 Xiangqi
    UVa-213 Message Decoding
  • 原文地址:https://www.cnblogs.com/lujinhong2/p/4654339.html
Copyright © 2011-2022 走看看