入门与使用参考这一片文档即可：
https://www.cnblogs.com/takemybreathaway/articles/10172339.html
| 方法(sql使我们定义的sql = new SQLContext(sc)) df是一个DataFrame对象 | 实例说明 |
| sql.read.table(tableName) | 读取一张表的数据 |
| df.where(), df.filter() |
过滤条件，相当于sql的where部分; 用法：选择出年龄字段中年龄大于20的字段。 返回值类型：DataFrame df.where("age >= 20"),df.filter("age >= 20") |
| df.limit() |
限制输出的行数，对应于sql的limit 用法：限制输出一百行 返回值类型：DataFrame df.limit(100) |
| df.join() |
链接操作，相当于sql的join 对于join操作，下面会单独进行介绍 |
| df.groupBy() |
聚合操作，相当于sql的groupBy 用法：对于某几行进行聚合 返回值类型：DataFrame df.groupBy("id") |
| df.agg() | 求聚合用的相关函数，下面会详细介绍 |
| df.intersect(other:DataFrame) | 求两个DataFrame的交集 |
| df.except(other:DataFrame) | 求在df中而不在other中的行 |
| df.withColumn(colName:String,col:Column) |
增加一列 |
| df.withColumnRenamed(exName,newName) | 对某一列的名字进行重新命名 |
|
df.map(), df.flatMap, df.mapPartitions(), df.foreach() df.foreachPartition() df.collect() df.collectAsList() df.repartition() df.distinct() df.count() |
这些方法都是spark的RDD的基本操作，其中在DataFrame类中也封装了这些方法，需要注意的是这些方法的返回值是RDD类型的，不是DataFrame类型的，在这些方法的使用上，一定要记清楚返回值类型，不然就容易出现错误 |
| df.select() |
选取某几列元素，这个方法相当于sql的select的功能 用法：返回选择的某几列数据 返回值类型：DataFrame df.select("id","name") |
以上是两个都是一写基本的方法，下面就详细介绍一下join和agg,na,udf操作
sparkSQL的agg操作
其中sparkSQL的agg是sparkSQL聚合操作的一种表达式，当我们调用agg时，其一般情况下都是和groupBy()的一起使用的,选择操作的数据表为：
|
1
2
3
4
|
val pSalar = new SQLContext(sc).read.json("salary.txt")val group = pSalar.groupBy("name").agg("salary" -> "avg")val group2 = pSalar.groupBy("id","name").agg("salary" -> "avg")val group3 = pSalar.groupBy("name").agg(Map("id" -> "avg","salary"->"max")) |
得到的结过如下：
group的结果 group2 group3
使用agg时需要注意的是，同一个字段不能进行两次操作比如：agg(Map("salary" -> "avg","salary" -> "max"),他只会计算max的操作，原因很简单，agg接入的参数是Map类型的key-value对，当key相同时，会覆盖掉之前的value。同时还可以直接使用agg，这样是对所有的行而言的。聚合所用的计算参数有：avg，max，min，sum，count，而不是只有例子中用到的avg