zoukankan      html  css  js  c++  java
  • 1.机器学习介绍

    机器学习简介

    机器学习技术不断进步,应用广泛,例如,推荐引擎,定向广告,需求预测,垃圾邮件过滤,医学诊断,自然语言处理,搜索引擎,欺诈检测,证券分析,视觉识别,语音识别,手写识别等

    机器学习架构

    机器学习是指通过算法,使用历史数据进行训练,训练完成后会产生模型,未来有新的数据提供时,我们可以使用训练产生的模型进行预测。

    · 训练阶段数据组成 : Feature 、Label

    训练数据是过去积累的历史数据,可能是文本文件,数据库或其他来源,经过Feature Extraction 特征提取,产生Feature和Label,然后经过机器学习算法的训练后产生模型。

    Feature:数据特征,

    Label: 数据的标签,也是我们希望预测的目标答案

    · 预测阶段:

    新输入数据,经过Feature Extraction特征提取 产生Feature,使用训练完成的模型进行预测,最后产生预测结果。

    机器学习分类

    机器学习分类分为 有监督的学习和无监督的学习两大类。

    机器学习分类图

    机器学习程序运行流程图

    数据准备阶段

    原始数据经过数据转换,提取特征字段与标签字段,产生机器学习所需要的格式,然后将数据以随机方式分为3部分(trainData,validationData, testData)并返回数据,提供给下一阶段训练评估使用

    trainData: 用于训练,通过机器学习算法产生模型。

    validationData: 用于对模型进行准确率的验证,进行反复多次的验证,从而产生bestmodel。

    testData :用于对最佳模型bestmodel进行再次测试。

    训练评估阶段

    使用traindata数据进行训练并产生模型,然后使用validationdata 验证模型的准确率。这个过程要重复很多次才能找出最佳的参数组合,评估方式:二元分类使用AUC , 多元分类使用accuracy , 回归分析使用RMSE,训练评估完成后, 会产生最佳模型 bestModel

    测试阶段

    之前阶段产生了最佳模型bestmodel 我们会使用另外一组数据testdata再次测试,以避免 overfitting 问题,如果训练评估阶段准确度很高,但是测试阶段准确度很低,代表可能存在 overfitting 问题,如果测试与训练评估阶段的结果准确度差异不大,代表无 overfitting 问题

    预测阶段

    新输入数据,经过Feature Extraction 特征提取 产生 Feature,使用训练完成的最佳模型bestmodel 进行预测, 最后产生预测结果

  • 相关阅读:
    【Hello CC.NET】巧用模板简化配置
    【Hello CC.NET】自动化发布时 Web.config 文件维护
    Hello Jexus
    【Hello CC.NET】CC.NET 实现自动化集成
    SSE和WebSocket的用法和比较
    利用canvas实现鼠标跟随效果
    使用es6制作简单数独游戏
    ppt学习(3)
    ppt学习(2)
    ppt学习(1)
  • 原文地址:https://www.cnblogs.com/yangte/p/15223435.html
Copyright © 2011-2022 走看看