문제 6 · 라플라스 근사법

문제 6 [4점]

아래와 같은 확률 밀도함수가 주어졌을 때, 이 분포의 최빈값mode을 구하고 최빈값에서 아래 함수의 라플라스 근사Laplace approximation를 구하시오.

$$p(\theta )\propto \exp (-\frac{(\theta -2{)}^4}{4}-(\theta -2{)}^2),-\mathrm{\infty }<\theta <\mathrm{\infty }$$

풀이 및 해설

지수부를 $-g(\theta )$로 두면 $g(\theta )=\frac{(\theta -2{)}^4}{4}+(\theta -2{)}^2$. 치환 $u=\theta -2$로 두면 $g=\frac{u^4}{4}+u^2$.

최빈값 — $g$를 최소화한다.

$$g^{\prime }(u)=u^3+2u=u(u^2+2)=0$$

$u^2+2>0$이므로 실근은 $u=0$, 즉 최빈값 ${\theta }_0=2$.

곡률 — $g^{″}(u)=3u^2+2$, $g^{″}(0)=2>0$이므로 최소점이 맞다.

라플라스 근사 — 최빈값 주변에서 $g$를 2차까지 전개하면 $g(\theta )\approx g(2)+\frac{1}{2}{g}^{″}(0)(\theta -2{)}^2=(\theta -2{)}^2$이므로

$$p(\theta )\approx \exp (-(\theta -2{)}^2)\propto \mathcal{N}\left(\theta \right|2,\frac{1}{2})$$

즉 가우시안 근사는 평균 ${\theta }_0=2$, 분산 ${\sigma }^2=1/g^{″}({\theta }_0)=\boxed{{\displaystyle 1/2}}$인 정규분포 $q(\theta )=\mathcal{N}(\theta \mid 2,\frac{1}{2})$이다.

👉 실습(Python)에서 근사 곡선 비교