今天将实验四全部完成。
2. 编写独立应用程序实现数据去重
对于两个输入文件 A 和 B,编写 Spark 独立应用程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新文件 C。下面是输入文件和输出文件的一个样例,供参考。
输入文件 A 的样例如下:
20170101 x
20170102 y
20170103 x
20170104 y
20170105 z
20170106 z
输入文件 B 的样例如下:
20170101 y
20170102 y
20170103 x
20170104 z
20170105 y
根据输入的文件 A 和 B 合并得到的输出文件 C 的样例如下:
20170101 x
20170101 y
20170102 y
20170103 x
20170104 y
20170104 z
20170105 y
20170105 z
20170106 z
import scala.io.Source import java.io.PrintWriter import java.io.File import Array._ import scala.util.control._ object exercise4 { def main(args: Array[String]){ File() } def File(){ val AFile=InFile("A.txt") val BFile=InFile("B.txt") var CFile=concat( AFile, BFile) var CFile2=new Array[String](CFile.size) val loop = new Breaks; for(i<-CFile){ loop.breakable{ for(j<- 0 to CFile2.size-1 ){ if(CFile2(j)!=null){if(i==CFile2(j))loop.break;} else {CFile2(j)=i;loop.break;} } } } outFile(CFile2) } def InFile(path:String) : Array[String] ={ val source = Source.fromFile(path, "UTF-8") val lines = source.getLines().toArray return lines } def outFile(data:Array[String]){ val writer = new PrintWriter(new File("C.txt")) for(i <-data) if(i!=null)writer.println(i) writer.close() } }
3. 编写独立应用程序实现求平均值问题
每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生名字,第二个是学生的成绩;编写 Spark 独立应用程序求出所有学生的平均成绩,并输出到一个新文件中。下面是输入文件和输出文件的一个样例,供参考。
Algorithm 成绩:
小明 92
小红 87
小新 82
小丽 90
Database 成绩:
小明 95
小红 81
小新 89
小丽 85
Python 成绩:
小明 82
小红 83
小新 94
小丽 91
平均成绩如下:
(小红,83.67)
(小新,88.33)
(小明,89.67)
(小丽,88.67)
import scala.io.Source import java.io.PrintWriter import java.io.File import Array._ import scala.util.control._ object exercise4 { def main(args: Array[String]){ File() } def File(){ val data=InFile("student.txt") var student= ofDim[String](4,2) val loop = new Breaks; var time:Int=0 for(i<-data){ var text=String.valueOf(i); var text2=text.split(" ") loop.breakable{ for(j<- 0 to student.size-1){ if(student(j)(0)==null){student(j)(0)=text2(0);student(j)(1)=text2(1);loop.break;} else{ if(text2(0)==student(j)(0)){student(j)(1)=String.valueOf(student(j)(1).toInt+text2(1).toInt);time+=1} } }} } for(j<-0 to 3){ student(j)(1)=String.valueOf(student(j)(1).toDouble/3) } outFile(student) } def InFile(path:String) : Array[String] ={ val source = Source.fromFile(path, "UTF-8") val lines = source.getLines().toArray return lines } def outFile(data:Array[Array[String]]){ val writer = new PrintWriter(new File("avg.txt")) for(i <-0 to data.size-1) writer.println(data(i)(0)+" "+data(i)(1)) writer.close() } }