zoukankan      html  css  js  c++  java
  • 机器学习中的重点数学知识

    深度学习中的数学

    1、数学是基石,编程为工具

    2、深度学习基本全是优化问题(数学)

    微积分知识重点:

    ① 导数:导数法则、常见的函数的导数、

    ② 多元函数的导数:求梯度(偏导数)、二阶导数和hess矩阵

    l 为什么需要使用矩阵表达多元函数?

    方便计算、简洁

    l 二次型求梯度 特别简单(需要了解:张矩阵)、

    泰勒级数和极值:

    l 实际中我们想求一个函数的极值点:

    令f’(x) = 0,哇,太难了............怎么办?(泰勒展开)

    一阶函数函数的导数是一个数,可以确定函数的极值点。但是二阶、多阶呢?

    写成二次型后求hess矩阵,判断hess矩阵的正定性。

    l 为什么要用梯度下降法???

    使用泰勒展开,如果 δ为函数的梯度,

    为了求出f’(x) = 0,是一种迭代求法。

    概率论知识

    随机变量:分布函数、累积分布函数(求概率)、概率密度函数(累积分布函数的导数)

    l 高斯分布(最完美的分布)

    对称轴:μ       分散程度:δ

    独立的高斯变量相加仍然是高斯分布!(神奇)

    X = x1 + x2 + x3 (三项以后)(任意独立分布加起来也是高斯分布)

    贝叶斯公式(机器学习中最重要的公式)

     

     

     

    矩阵重点:

    特征值和特征向量的理解:

    Ax = λx

    这个式子是如此的简单粗暴,以致于从这个公式来看,给向量x乘上一个矩阵A,只是相当于给这个向量乘上了一个系数λ。偌大一个矩阵A对向量x的作用竟然本质上不过只是和一个小小的数字λ相同而已!!!

    好像只是对x1x2进行了旋转。但是x3的方向没变。

    l 特征分解(对角化):

    对称矩阵一定可以对角化(概率:协方差矩阵就是对角阵)

    PCA 就是根据矩阵的特征值来降维。)

    协方差矩阵:

    降维之后(降行维数),我们让列(a1 a2 a3)的方差尽可能大,让行之间(a1 a2 a3, b1 b2 b3)的方差尽可能小。

     

    注意:Cx 为协方差矩阵  求出特征向量 * 原始矩阵 = 目标阵

    优化问题:(数值分析知识)。

  • 相关阅读:
    姐姐的vue(1)
    LeetCode 64. Minimum Path Sum 20170515
    LeetCode 56. 56. Merge Intervals 20170508
    LeetCode 26. Remove Duplicates from Sorted Array
    LeetCode 24. Swap Nodes in Pairs 20170424
    LeetCode 19. Remove Nth Node From End of List 20170417
    LeetCode No.9 Palindrome Number 20170410
    LeetCode No.8. String to Integer (atoi) 2017/4/10(补上一周)
    LeetCode No.7 Reverse Integer 2017/3/27
    LeetCode No.4 Median of Two Sorted Arrays 20170319
  • 原文地址:https://www.cnblogs.com/WSX1994/p/9676698.html
Copyright © 2011-2022 走看看