ELBO over iterations — rises toward the ceiling at 0 (where KL = 0).반복에 따른 ELBO — 상한 0(KL = 0)을 향해 상승합니다.
E_q[log p] + H[q] = −KL(q‖p) ≤ 0; rises toward 0.E_q[log p] + H[q] = −KL(q‖p) ≤ 0; 0을 향해 상승.
= −ELBO ≥ 0; the gap q still leaves to p.= −ELBO ≥ 0; q가 아직 p에 남긴 간극.
Spread of q; the reparam. entropy term.q의 퍼짐; 재매개변수화 엔트로피 항.
Average target log-density under q.q 하에서 목표 로그밀도의 평균.
Formulas공식
The evidence lower bound splits the log-evidence into a fit term and the KL gap:증거 하한은 로그증거를 적합 항과 KL 간극으로 분해합니다:
$$\mathrm{ELBO}(\phi)=\mathbb{E}_{q_\phi}[\log p(x,z)]-\mathbb{E}_{q_\phi}[\log q_\phi(z)]=\log p(x)-\mathrm{KL}(q_\phi\Vert p)$$Here p is a normalized density, so log p(x)=0 and the ELBO is exactly minus the reverse KL:여기서 p는 정규화된 밀도이므로 log p(x)=0이고, ELBO는 정확히 역방향 KL의 음수입니다:
$$\mathrm{ELBO}=\mathbb{E}_{q}[\log p(z)]+H[q]=-\mathrm{KL}(q\Vert p)\le 0$$Mean-field factorizes q; the reparameterization trick makes the gradient low-variance:평균장은 q를 인수분해하고, 재매개변수화 기법으로 저분산 경사를 얻습니다:
$$q(z)=\prod_i q_i(z_i)\ \text{(mean-field)},\qquad z=\mu+\sigma\odot\varepsilon,\ \varepsilon\sim\mathcal N(0,I)$$ $$z=\mu+L\varepsilon\ \text{(full)},\qquad H[q]=\tfrac12\log\!\big((2\pi e)^D|\Sigma_q|\big),\ \ \Sigma_q=LL^\top$$What to watch관찰 포인트
- As q fits p, the ELBO rises and KL(q‖p) falls together — they are exact negatives, so the ELBO's ceiling at 0 is the point where q = p.q가 p에 맞춰질수록 ELBO는 상승하고 KL(q‖p)은 함께 하락합니다 — 정확히 부호만 반대이므로, ELBO의 상한 0은 q = p인 지점입니다.
- On the correlated Gaussian, a mean-field q cannot represent correlation, so it fits inside p and under-estimates the variance — the classic mean-field pathology (KL stays positive). A full-covariance q tilts to match Σ and recovers p exactly (KL → 0).상관 가우시안에서 평균장 q는 상관을 표현할 수 없어 p 안쪽에 맞춰지며 분산을 과소추정합니다 — 전형적인 평균장 병리 현상(KL이 양수로 남음). 완전 공분산 q는 Σ에 맞게 기울어 p를 정확히 복원합니다(KL → 0).
- On the mixture, reverse-KL is mode-seeking: a single Gaussian q locks onto one mode rather than spreading its mass to cover both.혼합분포에서 역방향 KL은 모드 탐색적입니다: 단일 가우시안 q는 두 모드를 모두 덮으려 퍼지지 않고 한 모드에 고정됩니다.