2020寒假（8）

今天主要完成实验五的剩余部分，

一、编程实现将 RDD 转换为 DataFrame

源文件内容如下（包含 id,name,age）：

1,Ella,36

2,Bob,29

3,Jack,29

请将数据复制保存到 Linux 系统中，命名为 employee.txt，实现从 RDD 转换得到

DataFrame，并按“id:1,name:Ella,age:36”的格式打印出 DataFrame 的所有数据。请写出程序代

码

源代码:

import org.apache.spark.sql.catalyst.encoders.ExpressionEncoder
import org.apache.spark.sql.Encoder
import spark.implicits._
object RDDtoDF {
 def main(args: Array[String]) {
	case class Employee(id:Long,name: String, age: Long)
	val employeeDF = spark.sparkContext.textFile("file:///usr/local/spark/employee.txt").map(_.split(",")).map(attributes => Employee(attributes(0).trim.toInt,attributes(1), attributes(2).trim.toInt)).toDF()
        employeeDF.createOrReplaceTempView("employee")
	val employeeRDD = spark.sql("select id,name,age from employee")
	employeeRDD.map(t => "id:"+t(0)+","+"name:"+t(1)+","+"age:"+t(2)).show()
 } }

所遇到的问题：打包时遇到的问题not a legal formal parameter，不是一个合法的参数

代码有些许

 但程序逐行的运行并没有问题，不知道问题出现在哪里--------未解决