문제 10 · 커널 방법론

문제 10 — 커널 방법론

데이터셋 $\{({\mathbf{x}}_i,t_i)\mid i=1,\dots ,N,{\mathbf{x}}_i\in {\mathbb{R}}^d,t_i\in \mathbb{R}\}$이 주어졌다고 할 때, 데이터를 비선형 특징 공간feature space으로 사상시키는 함수 $\varphi (\cdot )$를 이용하여 아래와 같은 커널 기반 회귀 문제를 정의하였다.

$$J(\mathbf{w})=\frac{1}{2}\sum _{i=1}^N(t_i-{\mathbf{w}}^{\mathrm{\top }}\varphi ({\mathbf{x}}_i){)}^2+\frac{\lambda }{2}\parallel \mathbf{w}{\parallel }^2$$

위 목적함수에서 최적해 ${\mathbf{w}}^{\star }$가 다음과 같은 형태로 표현됨을 유도하라.

$${\mathbf{w}}^{\star }=\sum _{i=1}^N{a}_i\varphi ({\mathbf{x}}_i)\text{즉, }\varphi ({\mathbf{x}}_i)\text{들의 선형 결합}$$

위 결과를 이용하여 원래의 목적함수를 $\mathbf{a}$에 관한 듀얼 표현dual representation으로 명확히 표현하고, $\mathbf{a}$를 구하는 정규방정식을 명확히 유도하라.

---

먼저 $J(\mathbf{w})$를 미분한 후 $0$으로 두어 ${\mathbf{w}}^{\star }$를 얻는다. 이후 그 결과를 목적함수에 대입해 $J(\mathbf{a})$를 얻고(필요하면 그램 행렬Gram matrix을 정의), 다시 미분하여 $0$으로 두면 정규방정식을 얻는다.

풀이 및 해설

${\mathbf{w}}^{\star }$의 형태 — $J(\mathbf{w})$를 $\mathbf{w}$로 미분하여 $0$으로 둔다.

$${\mathrm{\nabla }}_{\mathbf{w}}J=-\sum _{i=1}^N(t_i-{\mathbf{w}}^{\mathrm{\top }}\varphi ({\mathbf{x}}_i))\varphi ({\mathbf{x}}_i)+\lambda \mathbf{w}=0$$$$\therefore \mathbf{w}=\frac{1}{\lambda }\sum _{i=1}^N(t_i-{\mathbf{w}}^{\mathrm{\top }}\varphi ({\mathbf{x}}_i))\varphi ({\mathbf{x}}_i)=\sum _{i=1}^N{a}_i\varphi ({\mathbf{x}}_i)={\mathbf{\Phi }}^{\mathrm{\top }}\mathbf{a}$$

여기서 $a_i=\frac{1}{\lambda }(t_i-{\mathbf{w}}^{\mathrm{\top }}\varphi ({\mathbf{x}}_i))$이고, $\mathbf{\Phi }$는 $i$번째 행이 $\varphi ({\mathbf{x}}_i{)}^{\mathrm{\top }}$인 설계 행렬이다. 즉 최적해는 특징 벡터들의 선형 결합으로 표현된다.

듀얼 표현 — $\mathbf{w}={\mathbf{\Phi }}^{\mathrm{\top }}\mathbf{a}$를 $J$에 대입하고 그램 행렬 $\mathbf{K}=\mathbf{\Phi }{\mathbf{\Phi }}^{\mathrm{\top }}$ ($K_{ij}=\varphi ({\mathbf{x}}_i{)}^{\mathrm{\top }}\varphi ({\mathbf{x}}_j)=k({\mathbf{x}}_i,{\mathbf{x}}_j)$)를 도입하면

$$J(\mathbf{a})=\frac{1}{2}{\mathbf{a}}^{\mathrm{\top }}\mathbf{K}\mathbf{K}\mathbf{a}-{\mathbf{a}}^{\mathrm{\top }}\mathbf{K}\mathbf{t}+\frac{1}{2}{\mathbf{t}}^{\mathrm{\top }}\mathbf{t}+\frac{\lambda }{2}{\mathbf{a}}^{\mathrm{\top }}\mathbf{K}\mathbf{a}$$

정규방정식 — $J(\mathbf{a})$를 $\mathbf{a}$로 미분하여 $0$으로 둔다.

$${\mathrm{\nabla }}_{\mathbf{a}}J=\mathbf{K}\mathbf{K}\mathbf{a}-\mathbf{K}\mathbf{t}+\lambda \mathbf{K}\mathbf{a}=0⟹\mathbf{K}(\mathbf{K}+\lambda {\mathbf{I}}_N)\mathbf{a}=\mathbf{K}\mathbf{t}$$

$\mathbf{K}$가 가역이라 가정하면

$$\boxed{{\displaystyle \mathbf{a}=(\mathbf{K}+\lambda {\mathbf{I}}_N{)}^{-1}\mathbf{t}}}$$

새로운 입력 $\mathbf{x}$에 대한 예측은 특징 벡터를 직접 계산하지 않고 커널만으로 이루어진다.

$$y(\mathbf{x})={\mathbf{w}}^{\star \mathrm{\top }}\varphi (\mathbf{x})={\mathbf{a}}^{\mathrm{\top }}\mathbf{\Phi }\varphi (\mathbf{x})=\mathbf{k}(\mathbf{x}{)}^{\mathrm{\top }}(\mathbf{K}+\lambda {\mathbf{I}}_N{)}^{-1}\mathbf{t},k_i(\mathbf{x})=k({\mathbf{x}}_i,\mathbf{x})$$

이것이 커널 릿지 회귀의 듀얼 표현이며, 6주차 슬라이드의 듀얼 표현 유도와 동일한 구조이다.