zoukankan      html  css  js  c++  java
  • Spark Mllib里如何采用保序回归做回归分析(图文详解)

      不多说,直接上干货!

      相比于决策树,保序回归的应用范围没有决策树算法那么广泛。

      特别在数据处理较为庞大的时候,采用保序回归做回归分析,可以极大地节省资源,从而提高计算效率。

      保序回归的思想,是对数据进行均值排序,从数据集的第一个数开始,如果下一个数出现乱序,即与设定的顺序不符,则从乱序的数据开始逐个开始求得平均值,直到求得的平均值与下一个数据比较不成为乱序为止。

      例如一个数据集:

     {1,3,2,4,5}

      要求其按照保序回归由小到大进行排列。

      首先观察第一个数是1,可以不做变动继续存放。第二个是2,仍然不需要变动。第三个数是2,是属于乱序从而需要对其重新计算。

      第三个数是乱序,需要对其重新计算,提取数据2和下一个数据4,计算得到平均值为3,因此,可获得一个新的数据集:

     {1,3,3,3,5}

      具体,见

    Spark Mllib机器学习实战的第8章 决策树与保序回归

  • 相关阅读:
    request内置对象
    JSP页面、包含
    HTTP协议
    html简介
    数据访问层工具类
    数据运算
    可变于不可变对象分类
    有序 无序 的区别
    字符串方法
    day01_final
  • 原文地址:https://www.cnblogs.com/zlslch/p/7486835.html
Copyright © 2011-2022 走看看