Spark streaming 应用简单示例

Spark streaming 应用简单示例

package com.orc.stream

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.streaming.{Seconds, StreamingContext}



/**
  * Created by DengNi on 2016/9/15. Today also is  中秋节
  * scala 2.10.4  ; 2.11.X not works
  * 使用方法 ：
  * 在本窗口启动本程序
  * 在 192.168.184.188 启动 命令 nc -l 7777 输入值即可打印 
  * 这里有个问题就是 :
  * C:UsersDengNi>ncat localhost 8080
  * Ncat: 由于目标计算机积极拒绝，无法连接。
  */
object SparkStreaming {

  def main(args: Array[String]) {

    val conf = new SparkConf().setAppName("streaming").setMaster("local[2]")
//    val sc = new SparkContext(conf)
    val ssc = new StreamingContext(conf,Seconds(10))

    val lines = ssc.socketTextStream("192.168.184.188",7777)
    //val errorLines = lines.filter(_.contains("error"))
    lines.print()
    print("1")
    ssc.start()
    println(2)
    ssc.awaitTermination()


  }

}