Reproducing Kernel Hilbert Space (RKHS)

目录

• 概
• 主要内容

RKHS-wiki

概

这里对RKHS做一个简单的整理, 之前的理解错得有点离谱了.

主要内容

首先要说明的是, RKHS也是指一种Hilbert空间, 只是其有特殊的性质.

Hilbert空间(mathcal{H}), 其中的每个元素(f: mathcal{X} ightarrow mathbb{K}), 并由内积(langle cdot, cdot, angle_{mathcal{H}})建立联系. 我们考虑如下的线性算子:

[delta_x(f) = f(x). ]

进一步假设(delta_x)是有界线性算子, 则根据Riesz表示定理可知, 存在唯一的(phi_x in mathcal{H}),

[f(x) = delta_x(f) = langle f, phi_x angle_{mathcal{H}}, ]

此时

[delta_x (phi_y) = langle phi_y, phi_x angle_{mathcal{H}}. ]

RKHS指的就是每一个(delta_x, forall x in mathcal{X})均为有界线性算子, 换言之,

[|f(x) - g(x)| = |delta_x(f) - delta_x (g)| le M_x |f - g|_{mathcal{H}}, quad forall x in mathcal{X}. ]

一般的, RKHS总会和某些特定的kernel (K)联系在一起, 实际上, 对于上述情况:

[K(x, y) := langle phi_x, phi_y angle. ]

在什么情况下可以通过(K)确定一个Hilbert 空间?

Moore-Aronszajn 定理: 当(K)对称正定, 则存在唯一的Hilbert空间, 其reproducing kernel是(K).

proof:

首先通过K构造线性空间(mathrm{span}({K(cdot, x): x in mathcal{X}})), 再赋予内积

[langle K_x, K_y angle_{mathcal{H}} = K(x, y). ]

其中, 内积的可交换性由K的对称性带来, 内积((x, x)=0)当且仅当(x=0)由正定性带来.

再令上述内积空间的闭包为

[mathcal{H}, ]

即包括

[f = sum_i a_i K_{x_i}. ]

显然

[f(x) = sum_i a_i K(x, x_i) = langle f, K_x angle_{mathcal{H}}. ]

故

[|f(x)-g(x)| = |langle f-g, K_x angle_{mathcal{H}}| le |K_x|_{mathcal{H}} |f-g|_{mathcal{H}}. ]

故(mathcal{H})是RKHS且其reproducing kernel即为(K).

倘若还存在别的Hilbert空间(mathcal{G}), 那么显然(mathcal{H} subset mathcal{G}), 只需证明反包含即可. 对于任意的(g in mathcal{G}), 可分解为

[g = g_{mathcal{H}} + g_{mathcal{H}^{ot}}, ]

[g(x) = langle g, K_x angle_{mathcal{G}} = langle g_{mathcal{H}}, K_x angle_{mathcal{G}} + langle g_{mathcal{H}^{ot}}, K_x angle_{mathcal{G}} = langle g_{mathcal{H}}, K_x angle_{mathcal{H}} = g_{mathcal{H}}(x). ]

故(gin mathcal{H}).