zoukankan      html  css  js  c++  java
  • funk_SVD 个人理解

    目标函数:

    $ J = frac{1}{2} left| R - PQ ight|^{2} + lambda left( left|P ight|^{2} +left| Q ight|^{2} ight) $

    矩阵R为$ m imes n$的稀疏矩阵(sparse matrix),考虑用 $ P_{m  imes r}$ 和 $  Q_ {r imes n }$ 两个矩阵的乘积  $ hat{R} $ 去逼近矩阵R,误差用SSE,后面面 两项为 正则项。 

     

    1,Gradient Descent

    $ J = frac{1}{2}sum _{left(i,j ight) in D} left( r_{ij} - sum_{k=1}^{r} p_{ik} q_{kj} ight)^2 + lambda left ( left | P ight | ^2+ left | Q ight |^2 ight )$

    整体误差$ J $对 因子矩 P 中某元素 $ p_{ik} $ 的偏导数:

    $frac{partial J}{partial p_{ik}} = sum _{left(i,j ight) in D} left( r_{ij} - sum_{k=1}^{r} p_{ik} q_{kj} ight)q_{kj}+ lambda  p_{ik} $

    偏导数矩阵应注意的几项:

      1  $ sum _{left(i,j ight) in D} left( r_{ij} - sum_{k=1}^{r} p_{ik} q_{kj} ight)q_{kj} $ 中并不是所有项都有定义的,只取有定义位置。

      2  对于给定的元素 $ p_{ik} $,i,k都是确定的,$ sum _{left(i,j ight) in D} left( r_{ij} - sum_{k=1}^{r} p_{ik} q_{kj} ight)q_{kj} $所以可以看成$ left ( hat{R} -R ight )$ 和 Q 红色非空部分的内积, 进一步还能得到因子矩阵的梯度矩阵 $ frac{partial J}{partial P}  = left ( R-hat{R} ight ) Q^T + lambda P $

    也可以直接用矩阵求导的方法来求解:

    当然,做乘法时依然只是那些有记录的位置参与计算。

  • 相关阅读:
    团队服务器搭建(搭建php环境和安装在线mysql管理工具phpmyadmin)
    游戏交流社区的构思
    脚本实现在线黄金点游戏,支持多用户,不重复,防机器等功能
    LogFilter
    XML
    Java互联网应用和企业级应用的区别
    Java小目标
    JAVA集合类
    黄金点游戏
    WordCount
  • 原文地址:https://www.cnblogs.com/pertinencec/p/9782807.html
Copyright © 2011-2022 走看看