spark之手机基站定位数据的商圈分析

一.目的

基于基站定位数据的商圈分析
移动通信网络会记录用户手机的相关信息，比如手机所处的基站区域编号，所处基站的时间等。根据这些数据可以进行商圈划分，目的是
为了研究潜在的顾客的分布以制定适宜的商业对策。如：可划分商业区、住宅区以及工作区

二.数据

数据来源【Python数据分析与挖掘实战(第14章基于基站定位数据的商圈分析)】，可自行搜索下载。

原始数据集没有找到，找到的数据是被统计，转换，过滤过的数据：
这四个特征的统计方法是：
对于某个基站(观测窗口为L天，基站N个，用户M个;
某个用户i在j天在某个基站的 =》 工作日上班时间停留时间为weekday，凌晨停留时间为night，周末停留时间weekend，是否停留为stay【1：停留；0：无停留】)：

工作日上班时间人均停留时间(9:00-18:00)
凌晨人均停留时间(00:00-07:00)
周末人均停留时间
日均人流量

基站编号,工作日上班时间人均停留时间,凌晨人均停留时间,周末人均停留时间,日均人流量
  36902,  78,                     521,           602,           2863
  36903,  144,                    600,           521,           2245
  36904,  95,                     457,           468,           1283
  36905,  69,                     596,           695,           1054

三.代码

通过提取和处理特征，利用聚类方法聚成几个区域，并对区域进行分析。详细代码：手机基站定位数据的商圈分析(https://github.com/jiangnanboy/spark_tutorial)

public static void businessCircleStatistics(SparkSession session) {
        String path = PropertiesReader.get("intermediate_business_circle_csv");
        /**
         * +--------+--------------------------+----------------+----------------+----------+
         * |基站编号 |工作日上班时间人均停留时间   |凌晨人均停留时间  |周末人均停留时间  |日均人流量|
         * +--------+--------------------------+----------------+----------------+----------+
         * |   36902|                        78|             521|             602|      2863|
         * |   36903|                       144|             600|             521|      2245|
         * |   36904|                        95|             457|             468|      1283|
         * |   36905|                        69|             596|             695|      1054|
         * |   36906|                       190|             527|             691|      2051|
         * +--------+--------------------------+----------------+----------------+----------+
         *  |-- 基站编号: integer (nullable = true)
         *  |-- 工作日上班时间人均停留时间: integer (nullable = true)
         *  |-- 凌晨人均停留时间: integer (nullable = true)
         *  |-- 周末人均停留时间: integer (nullable = true)
         *  |-- 日均人流量: integer (nullable = true)
         */
        Dataset<Row> dataset = session.read()
                .option("sep", ",")
                .option("header", "true")
                .option("inferSchema", "true")
                .csv(path);

        /**
         * 转为特征向量
         * +---------+--------------------+
         * |stationID|            features|
         * +---------+--------------------+
         * |    36902|[78.0,521.0,602.0...|
         * |    36903|[144.0,600.0,521....|
         * |    36904|[95.0,457.0,468.0...|
         * |    36905|[69.0,596.0,695.0...|
         * |    36906|[190.0,527.0,691....|
         * +---------+--------------------+
         */
        dataset = dataset.map((MapFunction<Row,Row>) row -> {
            int stationID = row.getInt(0);
            double weekdayAvg = (double) row.getInt(1);
            double nightAvg = (double) row.getInt(2);
            double weekendAvg = (double) row.getInt(3);
            double stayAvg = (double) row.getInt(4);
            return RowFactory.create(stationID, Vectors.dense(new double[]{weekdayAvg, nightAvg, weekendAvg, stayAvg}));
        }, RowEncoder.apply(new StructType(new StructField[]{
                new StructField("stationID", DataTypes.IntegerType,false, Metadata.empty()),
                new StructField("features", SQLDataTypes.VectorType(), false, Metadata.empty())
        })));

        /**
         * 数据标准化
         */
        MinMaxScalerModel featureScaler = new MinMaxScaler()
                .setInputCol("features")
                .setOutputCol("scaledFeatures")
                .fit(dataset);
        /**
         *+---------+--------------------+--------------------+
         * |stationID|            features|      scaledFeatures|
         * +---------+--------------------+--------------------+
         * |    36902|[78.0,521.0,602.0...|[0.10386473429951...|
         * |    36903|[144.0,600.0,521....|[0.26328502415458...|
         * |    36904|[95.0,457.0,468.0...|[0.14492753623188...|
         * |    36905|[69.0,596.0,695.0...|[0.08212560386473...|
         * |    36906|[190.0,527.0,691....|[0.37439613526570...|
         * +---------+--------------------+--------------------+
         */
        Dataset<Row> scaledData = featureScaler.transform(dataset);

        /**
         * 轮廓系统确定簇数,可以看出分为3类最佳
         * k: 2 silhouette: 0.5063659448997802
         * k: 3 silhouette: 0.629019144457301
         * k: 4 silhouette: 0.32319167016337247
         * k: 5 silhouette: 0.30681655682008674
         * k: 6 silhouette: 0.39947777279975305
         * k: 7 silhouette: 0.31054738863541337
         * k: 8 silhouette: 0.3417574406084828
         * k: 9 silhouette: 0.30133745097199804
         * k: 10 silhouette: 0.12586962519806658
         */
        int k = selectOptimalK(scaledData, 10);

        //model，利用层次聚类
        BisectingKMeans bkm = new BisectingKMeans().setFeaturesCol("scaledFeatures")
                .setK(k) //簇数
                .setSeed(1);
        BisectingKMeansModel model = bkm.fit(scaledData);
        /**
         * 预测结果，后面根据聚类结果划分出不同的商圈，对3类数据中的4个特征进行分析，定义3类商圈的不定定位进行商业活动，具体可看《python数据分析与挖掘实战》一书中的第14章。
         * 根据3类数据的活动并异，可划分商业区、住宅区以及工作区
         * +---------+--------------------+--------------------+----------+
         * |stationID|            features|      scaledFeatures|prediction|
         * +---------+--------------------+--------------------+----------+
         * |    36902|[78.0,521.0,602.0...|[0.10386473429951...|         1|
         * |    36903|[144.0,600.0,521....|[0.26328502415458...|         1|
         * |    36904|[95.0,457.0,468.0...|[0.14492753623188...|         1|
         * |    36905|[69.0,596.0,695.0...|[0.08212560386473...|         1|
         * |    36906|[190.0,527.0,691....|[0.37439613526570...|         1|
         * +---------+--------------------+--------------------+----------+
         */

        Dataset<Row> predictions  = model.transform(scaledData);
        predictions.show(5);

        /**
         * 聚类中心
         * [0.13227119317053798,0.04483188044831879,0.19956941131772793,0.7100471677339725]
         * [0.1886016451233843,0.8021375921375923,0.7629929621455044,0.09096028267984407]
         * [0.8643640466871185,0.048015925680159235,0.12134333562021299,0.3287583779747489]
         */

        Vector[] centers = model.clusterCenters();
        for(Vector center : centers) {
            System.out.println(center);
        }

    }