문제 4 · 커널 방법론 (듀얼 표현)

문제 4 [4점]

아래 커널 기반 회귀 모델의 목적함수의 듀얼 표현dual representation을 구하시오.

$$J(\mathbf{w})=\frac{1}{2}\sum _{i=1}^N(t_i-{\mathbf{w}}^{\mathrm{\top }}\varphi ({\mathbf{x}}_i){)}^2+\frac{\lambda }{2}\parallel \mathbf{w}{\parallel }^2$$

풀이 및 해설

${\mathrm{\nabla }}_{\mathbf{w}}J=0$에서 $\mathbf{w}=\sum _i{a}_i\varphi ({\mathbf{x}}_i)={\mathbf{\Phi }}^{\mathrm{\top }}\mathbf{a}$, $a_i=\frac{1}{\lambda }(t_i-{\mathbf{w}}^{\mathrm{\top }}\varphi ({\mathbf{x}}_i))$. 이를 대입하고 그램 행렬 $\mathbf{K}=\mathbf{\Phi }{\mathbf{\Phi }}^{\mathrm{\top }}$ ($K_{ij}=k({\mathbf{x}}_i,{\mathbf{x}}_j)$)을 도입하면

$$J(\mathbf{a})=\frac{1}{2}{\mathbf{a}}^{\mathrm{\top }}\mathbf{K}\mathbf{K}\mathbf{a}-{\mathbf{a}}^{\mathrm{\top }}\mathbf{K}\mathbf{t}+\frac{1}{2}{\mathbf{t}}^{\mathrm{\top }}\mathbf{t}+\frac{\lambda }{2}{\mathbf{a}}^{\mathrm{\top }}\mathbf{K}\mathbf{a}$$

${\mathrm{\nabla }}_{\mathbf{a}}J=0$을 정리하면 정규방정식

$$\boxed{{\displaystyle \mathbf{a}=(\mathbf{K}+\lambda {\mathbf{I}}_N{)}^{-1}\mathbf{t}}}$$

를 얻고, 예측은 $y(\mathbf{x})=\mathbf{k}(\mathbf{x}{)}^{\mathrm{\top }}(\mathbf{K}+\lambda {\mathbf{I}}_N{)}^{-1}\mathbf{t}$, $k_i(\mathbf{x})=k({\mathbf{x}}_i,\mathbf{x})$로 커널만으로 계산된다.