문제 5 · 변분 추론 (ELBO 유도)

문제 5 — 변분 추론

완전 베이지안 모델의 잠재 변수 및 매개변수가 $Z = {z_{1}, \dots, z_{N}}$ , 관측 변수가 $X = {x_{1}, \dots, x_{N}}$ 으로 주어졌을 때, 변분 추론에 사용되는 ELBO 목적 함수를 유도하고, ELBO 함수의 최댓값을 찾는 것이 어떤 의미를 가지는지 서술하시오.

풀이 및 해설

유도 — 임의의 변분 분포 $q (Z)$ 에 대해 로그 주변 가능도를 분해한다.

\ln p (X) = \ln \int p (X, Z) d Z = \ln \int q (Z) \frac{p (X, Z)}{q (Z)} d Z

옌센 부등식을 적용하거나, 항을 더하고 빼서 정확히 분해하면

\ln p (X) = \underset{L (q) (ELBO)}{\underset{⏟}{\int q (Z) \ln \frac{p (X, Z)}{q (Z)} d Z}} + \underset{KL (q ∥ p (Z ∣ X))}{\underset{⏟}{(- \int q (Z) \ln \frac{p (Z ∣ X)}{q (Z)} d Z)}}

즉

\ln p (X) = L (q) + KL (q (Z) ∥ p (Z ∣ X))

여기서 ELBO(증거 하한, Evidence Lower BOund)는

L (q) = E_{q} [\ln p (X, Z)] - E_{q} [\ln q (Z)]

의미 — $KL ⩾ 0$ 이므로 $L (q) ⩽ \ln p (X)$ , 즉 ELBO는 로그 증거의 하한이다. 관측이 고정되면 $\ln p (X)$ 는 상수이므로,

L (q) 최대화 ⟺ KL (q ∥ p (Z ∣ X)) 최소화

가 된다. 따라서 ELBO를 최대화하는 것은 다루기 어려운 참 사후분포 $p (Z ∣ X)$ 에 변분 분포 $q$ 를 가장 가깝게(KL 기준) 근사하는 것을 의미하며, 동시에 로그 증거에 대한 가장 조인 하한을 얻는 것이다. 이로써 어려운 사후 추론 문제를 최적화 문제로 바꾼다.

문제 5 · 변분 추론 (ELBO 유도) ​

문제 5 · 변분 추론 (ELBO 유도)