机器学习纸质作业1

zoukankan html css js c++ java

机器学习纸质作业1

最近在学习浙江大学胡浩基老师的机器学习课程，做了一下纸质作业1的原问题转化成对偶问题

2.(a)

原问题：

　　最小化： $frac{1}{2}egin{Vmatrix}omega end{Vmatrix}^{2}+C_{1}sum_{i=1}^{N}delta _{i}+C_{2}sum_{i=1}^{N}delta _{i}^{2}$

　　限制条件：① $delta _{i}geq 0$

　　　　　　 ② $y_{i}left [ omega ^{T} varphi (x_{i}))+b ight ]geq 1-delta _{i}$

解：①设δ_i≤0，则我们是最小化

$frac{1}{2}egin{Vmatrix}omega&space;end{Vmatrix}^{2}-C_{1}sum_{i=1}^{N}delta&space;_{i}+C_{2}sum_{i=1}^{N}delta&space;_{i}^{2}$

限制条件为

$y_{i}left&space;[&space;omega&space;^{T}&space;varphi&space;(x_{i}))+b ight&space;]geq&space;1+delta&space;_{i}$

②将限制条件②移项得：

$1+delta&space;_{i}-y_{i}left&space;[&space;omega&space;^{T}&space;varphi&space;(x_{i}))+b ight&space;]leq &space;0$

③代入该问题，得最大化

$heta (alpha ,eta )=infleft { frac{1}{2}left | omega ight |^{2}-C_{1}sum_{i=1}^{N}delta _{i}+C_{2}sum_{i=1}^{N}delta _{i}^{2}+sum_{i=1}^{N}eta _{i}delta _{i}+sum_{i=1}^{N}alpha _{i}left [ 1+delta _{i}-y_{i}left [ omega ^{T}varphi (x_{i})+b ight ] ight ] ight }$

④对θ(α,β)求偏导，得

$frac{mathrm{d} L}{mathrm{d} omega }=omega -sum_{i=1}^{N}alpha _{i}y_{i}varphi (x_{i})$

$frac{mathrm{d} L}{mathrm{d} delta _{i} }=2C_{2}delta _{i}-C_{1}+alpha _{i}+eta _{i}$

$frac{mathrm{d} L}{mathrm{d} b }=-sum_{i=1}^{N}alpha _{i}y_{i}$

使偏导为0，得

$omega&space;=sum_{i=1}^{N}alpha&space;_{i}y_{i}varphi&space;(x_{i})$

$delta_{i}=frac{(C_{1}-alpha_{i}-eta_{i})}{2C_{2}}$

$sum_{i=1}^{N}alpha _{i}y_{i}=0$

⑤将偏导结果代入θ(α,β)，得

⑤所以，该原问题的对偶问题为

最大化：

限制条件：

①

②

查看全文

相关阅读:
剑指47 礼物的最大价值
 剑指46 把数字转化成字符串
 剑指41：数据流中的中位数
 剑指39 数组中出现次数超过半数的数
 centos 7关闭与启用防火墙，开放端口，常用命令介绍
 用docker swarm搭建docker集群
 centos 7离线安装docker, 离线安装docker-compose
centos 7离线安装harbor
mysql-8安装教程(windows 64位）
centos 7离线安装中文版GitLab

原文地址：https://www.cnblogs.com/giaogiaogiao/p/15035276.html