spark学习笔记二：建单脚本编写

1.idea 编写WordCount程序，不用maven配置,本地已配置spark,hadoop,scala的path环境

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object WordCount {
  def main(args: Array[String]) {
    val inputFile =  "hdfs://39.106.229.57:9000/home/spark/users.txt"
    val conf = new SparkConf().setAppName("WordCount").setMaster("local")
    val sc = new SparkContext(conf)
    val textFile = sc.textFile(inputFile)
    val wordCount = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)
    wordCount.foreach(println)
  }
}

需要优化点：将输入文件改为本地文件或能连接到的文件

解决方案： D:\数据测试组资料/数据产品.txt

2.学习spark的hdfs

hdfs分布式文件，需要搭建集群

3.不是maven项目打包可参考 https://www.cnblogs.com/shishanyuan/p/4721120.html 里面打包过程
  maven项目打包可用 mvn package 或 双击package 图标，打包是为了将本地编写项目上传到服务器（一般是linux）运行