pyspark -h 查看用法
pyspark -h
Usage: pyspark [options]
常见的[options] 如下表：
输入pyspark -h 查看各参数的定义
查看sc变量
-
不指定--master时
pyspark (查看sc变量) sc
-
指定--master时
pyspark --master spark://node1:7077 (查看sc变量) sc
用pyspark开发一个WordCount程序
输入下面的代码并运行（路径根据情况修改）。
-
在本地创建一个文件：/home/hadoop/252/input/data.txt (hadoop是本地用户名，252表示文件名，两个值请根据情况修改)。此路径也可以换为hdfs的路径。
data.txt文件中的内容是：
a good beginning is half the battle where there is a will there is a way -
一行代码实现WordCount
sc.textFile("/home/hadoop/252/input/data.txt").flatMap(lambda line: line.split(" ")).map(lambda word : (word,1)).reduceByKey(lambda x,y : x+y).saveAsTextFile("/home/hadoop/252/output/0222")
-
多行代码实现WordCount（单步）
rdd1 = sc.textFile("/home/hadop/252/input/data.txt") #延时读取数据 rdd1.collect() #查看结果(列表方式)
rdd2 = rdd1.flatMap(lambda line: line.split(" ")) #将每句话进行分词，再整合到一个列表
rdd2.collect() #查看结果(列表方式)
rdd3 = rdd2.map(lambda word : (word,1)) #每个单词记一次数，将单词和1构成元组
rdd3.collect() #查看结果(列表方式)
rdd4 = rdd3.reduceByKey(lambda x,y:x+y) #再将value进行累加，把相同的Key的value进行累加
rdd4.collect() #查看结果(列表方式)
rdd4.saveAsTextFile("/home/hadoop/252/output/0333") #保存到指定目录，此目录预先不能存在
最后，输出查看目录中的内容
