网上找的大部分资料都很旧,最后翻了下文档只找到了说明
大概意思是1.6之后如果想要使用分区推断就要设置数据源的basePath,因此代码如下
java
1 public class ParitionInfer {
2 private static SparkConf conf = new SparkConf().setAppName("partitioninfer");
3 private static JavaSparkContext jsc = new JavaSparkContext(conf);
4 private static SparkSession session = new SparkSession(jsc.sc());
5
6 public static void main(String[] args) {
7
8 // 加载数据源
9 Dataset<Row> dataset = session.read().option("basePath", "hdfs://hadoop002:9000/spark_sql/users/")
10 .parquet("hdfs://hadoop002:9000/spark_sql/users/gender=male/country=us/users.parquet");
11
12 dataset.printSchema();
13 dataset.show();
14
15 session.stop();
16 jsc.close();
17 }
18 }
(注意basePath与实际的parquet文件的路径,basePath是分区推断列之前的路径)
scala
1 object PartitionInfer {
2 def main(args: Array[String]): Unit = {
3 val conf = new SparkConf().setAppName("partitioninfer").setMaster("local")
4 val sc = new SparkContext(conf)
5 val sqlContext = new SQLContext(sc)
6
7 val df = sqlContext.read.option("basePath", "f:/").parquet("f:/gender=male/country=us/users.parquet")
8
9 df.printSchema()
10 df.show()
11 }
12 }
scala的版本用的本地路径,测试发现依然可以实现分区推断