Variational Free Energy

Energy landscape에너지 지형

E(z) = −log p̃(z). The double well breaks symmetry; the tilt favors one side.E(z) = −log p̃(z). 이중 우물은 대칭을 깨고, 기울기는 한쪽을 선호합니다.

Temperature온도

T (entropy weight)T (엔트로피 가중치) 1.00

Low T → energy wins (q collapses). High T → entropy wins (q spreads). Same knob as β in a β-VAE.낮은 T → 에너지 우세 (q 붕괴). 높은 T → 엔트로피 우세 (q 확산). β-VAE의 β와 같은 조절값입니다.

Minimize FF 최소화

Learning rate학습률 0.03

Gradient descent on F over (μ, log σ) via Gauss quadrature. Equivalent to maximizing the ELBO.가우스 구적법으로 (μ, log σ)에 대해 F를 경사하강합니다. ELBO 최대화와 동등합니다.

Energy E(z)에너지 E(z) Posterior q = N(μ, σ²)사후분포 q = N(μ, σ²) ×q mean μ on EE 위의 q 평균 μ

F = ⟨E⟩ − T·SF = ⟨E⟩ − T·S ⟨E⟩ (energy)⟨E⟩ (에너지) −T·S (entropy)−T·S (엔트로피)

Free energy over iterations — F decreases as ⟨E⟩ and −T·S trade off.반복에 따른 자유 에너지 — ⟨E⟩와 −T·S가 맞바뀌며 F가 감소합니다.

Variational free energy변분 자유 에너지

—

⟨E⟩ − T·S = −ELBO; minimized at equilibrium.⟨E⟩ − T·S = −ELBO; 평형에서 최소화.

⟨E⟩

Expected energy기대 에너지

—

E_q[E(z)] — the "reconstruction" / fit term.E_q[E(z)] — "재구성" / 적합 항.

S[q]

Entropy of qq의 엔트로피

—

½ log(2π e σ²) — disorder / spread of q.½ log(2π e σ²) — q의 무질서도 / 퍼짐.

T·S

Entropy term엔트로피 항

—

Temperature × disorder — the KL/prior regularizer.온도 × 무질서도 — KL/사전분포 정규화 항.

Formulas공식

Treat the (unnormalized) target as a Boltzmann distribution p̃(z) = e^(−E(z)). The variational free energy of a Gaussian q balances expected energy against entropy:정규화되지 않은 목표분포를 볼츠만 분포 p̃(z) = e^(−E(z))로 봅니다. 가우시안 q의 변분 자유 에너지는 기대 에너지와 엔트로피를 저울질합니다:

$$F(q)=\langle E(z)\rangle_q - T\,S[q],\qquad E(z)=-\log \tilde p(z)$$

For a 1D Gaussian q = N(μ, σ²) the entropy is closed-form, and ⟨E⟩ is estimated by quadrature over z ~ q:1차원 가우시안 q = N(μ, σ²)의 엔트로피는 닫힌 형식이며, ⟨E⟩는 z ~ q에 대한 구적법으로 추정합니다:

$$S[q]=\tfrac12\log\!\big(2\pi e\,\sigma^2\big),\qquad \langle E\rangle_q=\mathbb{E}_{z\sim q}\big[E(z)\big]$$

Minimizing F is exactly maximizing the ELBO: ⟨E⟩ plays the role of reconstruction, and T·S the KL-to-prior / entropy regularizer:F의 최소화는 정확히 ELBO의 최대화입니다: ⟨E⟩는 재구성 역할을, T·S는 사전분포로의 KL / 엔트로피 정규화 역할을 합니다:

$$\min_{q} F \;\Longleftrightarrow\; \max_{q}\ \mathrm{ELBO}=\mathbb{E}_{q}\!\left[\log p(x\mid z)\right]-\mathrm{KL}\!\left(q\Vert p\right)$$

What to watch관찰 포인트

Low T: F is dominated by ⟨E⟩. The posterior collapses to the deepest well and shrinks to a sharp point estimate — the same posterior collapse a β-VAE suffers when the reconstruction term overwhelms the prior.낮은 T: F는 ⟨E⟩가 지배합니다. 사후분포는 가장 깊은 우물로 붕괴하며 날카로운 점추정으로 수축합니다 — 재구성 항이 사전분포를 압도할 때 β-VAE가 겪는 사후 붕괴와 동일합니다.
High T: the entropy term wins, so q spreads wide — a broad, uncertain posterior, exactly like the KL-to-prior term dominating in a β-VAE with large β.높은 T: 엔트로피 항이 우세하여 q가 넓게 퍼집니다 — 넓고 불확실한 사후분포로, β가 큰 β-VAE에서 사전분포로의 KL 항이 지배하는 상황과 정확히 같습니다.
On the double well, sweep T down: past a critical temperature the broad symmetric solution splits and μ slides off-center into one well — a spontaneous symmetry breaking / phase transition. Above it, the symmetric broad q is the free-energy minimum; below it, symmetry breaks.이중 우물에서 T를 낮춰 보세요: 임계 온도를 지나면 넓은 대칭 해가 갈라지며 μ가 중심에서 벗어나 한쪽 우물로 미끄러집니다 — 자발적 대칭 깨짐 / 상전이입니다. 그 위에서는 대칭적인 넓은 q가 자유 에너지 최소이고, 그 아래에서는 대칭이 깨집니다.
Connection to the ELBO: maximizing the ELBO is minimizing this variational free energy. ⟨E⟩ ↔ reconstruction, T·S ↔ the KL/entropy regularizer, and T ↔ β. The physics and the VAE objective are the same equation.ELBO와의 연결: ELBO를 최대화하는 것은 곧 이 변분 자유 에너지를 최소화하는 것입니다. ⟨E⟩ ↔ 재구성, T·S ↔ KL/엔트로피 정규화, T ↔ β. 물리학과 VAE 목적함수는 같은 방정식입니다.