Windows下IntelliJ IDEA中运行Spark Standalone

前提条件：

1、Spark Standalone 集群部署完成

2、Intellij Idea 能够运行 Spark local 模式的程序。 

源码：

import org.apache.spark.{SparkContext, SparkConf}
import scala.math._

/**
  * Created by Edward on 2016/8/27.
  */
object WordCount {
  def main(args: Array[String]) {

    val sparkConf = new SparkConf().setAppName("WordCount")
      .setMaster("spark://node1:7077").setJars(List("D:\documents\Spark\MyDemo\Test\out\artifacts\spark_sample_jar\Test.jar"))
    //val sc = new SparkContext(sparkConf)
    val spark = new SparkContext(sparkConf)
    val slices = if (args.length > 0) args(0).toInt else 2
    val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow
    val count = spark.parallelize(1 until n, slices).map { i =>
        val x = random * 2 - 1
        val y = random * 2 - 1
        if (x*x + y*y < 1) 1 else 0
      }.reduce(_ + _)
    println("Pi is roughly " + 4.0 * count / n)
    spark.stop()
  }
}

这里主要的思想还是将打包的jar提交到集群。

使用.setJars方法