2 · 확률 분포

확률 분포는 복잡한 모델을 만드는 데 중요한 역할을 한다. 핵심 문제 중 하나는, 관찰된 데이터가 주어졌을 때 그를 가장 잘 표현하는 확률 분포를 모델링하는 것이다.

2.1 이산 확률 변수

• 이진 확률 변수random variable $x\in \{0,1\}$에서 $x=1$일 확률을 $\mu$로 두면 $p(x=1\mid \mu )=\mu$, $p(x=0\mid \mu )=1-\mu$이다. 이 분포를 베르누이 분포Bernoulli distribution라 한다.

$$\mathrm{Bern}(x\mid \mu )={\mu }^x(1-\mu {)}^{1-x},\mathbb{E}[x]=\mu ,\mathrm{var}[x]=\mu (1-\mu )$$

• 관측 $\mathcal{D}=\{x_1,\dots ,x_N\}$이 i.i.d.라면 로그 가능도는 $\ln p(\mathcal{D}\mid \mu )=\sum _n\{x_n\ln \mu +(1-x_n)\ln (1-\mu )\}$이고, $\sum _n{x}_n$을 통해서만 데이터에 의존한다(이는 충분 통계량sufficient statistic). $\mu$로 미분하여 $0$으로 두면

$$\begin{array}{}\text{(2.7)}& {\mu }_{\mathrm{ML}}=\frac{1}{N}\sum _{n=1}^N{x}_n\end{array}$$

으로 표본 평균sample mean이 된다.

• $N$개 중 $x=1$인 관측 수 $m$의 분포가 이항 분포binomial distribution이다.

$$\begin{array}{}\text{(2.8)}& \mathrm{Bin}(m\mid N,\mu )=(\genfrac{}{}{0ex}{}{N}{m}){\mu }^m(1-\mu {)}^{N-m},\mathbb{E}[m]=N\mu ,\mathrm{var}[m]=N\mu (1-\mu )\end{array}$$

2.1.1 베타 분포

• 베르누이에 베이지안적으로 접근하려면 $\mu$의 사전 분포 $p(\mu )$가 필요하다. 가능도가 ${\mu }^x(1-\mu {)}^{1-x}$ 꼴이므로, $\mu$와 $(1-\mu )$의 거듭제곱에 비례하는 사전 분포를 쓰면 사후 분포도 같은 함수 형태를 갖는다. 이 성질을 켤레성conjugacy이라 한다.
• 사전 분포로 베타 분포beta distribution를 쓴다.

$$\begin{array}{}\text{(2.11)}& \mathrm{Beta}(\mu \mid a,b)=\frac{\mathrm{\Gamma }(a+b)}{\mathrm{\Gamma }(a)\mathrm{\Gamma }(b)}{\mu }^{a-1}(1-\mu {)}^{b-1},\mathbb{E}[\mu ]=\frac{a}{a+b},\mathrm{var}[\mu ]=\frac{ab}{(a+b{)}^2(a+b+1)}\end{array}$$

• 이항 가능도(2.8)에 베타 사전(2.11)을 곱하고 정규화하면($l=N-m$)

$$\begin{array}{}\text{(2.15)}& p(\mu \mid m,l,a,b)\propto {\mu }^{m+a-1}(1-\mu {)}^{l+b-1}\end{array}$$

으로 다시 베타 분포가 된다. 사후에서 $a$는 $m$만큼, $b$는 $l$만큼 증가하며, $a$·$b$는 각각 $x=1$·$x=0$의 유효 관찰수effective number of observation로 해석된다.

그림 2.3 · 사전 $a=b=2$에 관측 하나($x=1$)를 반영하면 사후는 $a=3,b=2$인 베타 분포가 된다.

• 관측 수가 늘수록 사후 분포는 더 뾰족해지고($a\to \mathrm{\infty }$ 또는 $b\to \mathrm{\infty }$면 분산 $\to 0$) 불확실성이 꾸준히 감소한다. 이는 베이지안 학습의 일반적 성질로, 데이터를 하나씩 반영하는 순차적sequential 학습이 자연스럽다.

그림 2.2 · 다양한 초매개변수 $a,b$에 따른 베타 분포.

실습 · 베타–이항 켤레와 순차적 사후 갱신

사전 $\mathrm{Beta}(2,2)$에 관측을 하나씩 반영하면 $a+=1$(성공) 또는 $b+=1$(실패)로 갱신되며, 분산이 줄어드는(불확실성 감소) 과정을 확인하세요.

a, b = 2.0, 2.0                          # 사전 Beta(2, 2)
def mv(a, b):
    m = a/(a+b); v = a*b/((a+b)**2*(a+b+1)); return m, v
obs = [1, 1, 0, 1, 1, 1, 0, 1]          # 순차 관측 (x=1 → a 증가)
m, v = mv(a, b)
print(f"사전 Beta(a=2, b=2):  평균={m:.3f}, 분산={v:.4f}")
for i, x in enumerate(obs, 1):
    a += x; b += 1-x                     # 켤레 갱신
    m, v = mv(a, b)
    print(f"관측 {i}개 후 Beta(a={a:.0f}, b={b:.0f}): 평균={m:.3f}, 분산={v:.4f}")
print("\n관측이 늘수록 분산이 줄어(사후가 뾰족해짐) 불확실성이 감소한다.")

2.2 다항 변수

• $K$개 값 중 하나를 취하는 이산 변수는 원 핫 인코딩one hot encoding으로 $K$차원 벡터 $\mathbf{x}$($x_k$ 중 하나만 $1$)로 표현한다. $x_k=1$일 확률을 ${\mu }_k$라 하면 $p(\mathbf{x}\mid \mathit{\mu })=\prod _k{\mu }_k^{x_k}$이고 $\sum _k{\mu }_k=1$, $\mathbb{E}[\mathbf{x}]=\mathit{\mu }$이다.
• $N$개 관측의 가능도는 $p(\mathcal{D}\mid \mathit{\mu })=\prod _k{\mu }_k^{m_k}$($m_k=\sum _n{x}_{nk}$, 충분 통계량)이다. 제약 $\sum _k{\mu }_k=1$ 하에 라그랑주 승수Lagrange multiplier $\lambda$로 $\sum _k{m}_k\ln {\mu }_k+\lambda (\sum _k{\mu }_k-1)$을 최대화하면 ${\mu }_k=-m_k/\lambda$, 제약 대입 시 $\lambda =-N$이므로

$${\mu }_k^{\text{ML}}=\frac{m_k}{N}$$

($x_k=1$인 관측의 비율)이 된다.

• $m_1,\dots ,m_K$의 결합 분포가 다항 분포multinomial distribution이다.

$$\begin{array}{}\text{(2.23)}& \mathrm{Mult}(m_1,\dots ,m_K\mid \mathit{\mu },N)=(\genfrac{}{}{0ex}{}{N}{m_1{m}_2\cdots m_K})\prod _{k=1}^K{\mu }_k^{m_k},(\genfrac{}{}{0ex}{}{N}{m_1\cdots m_K})=\frac{N!}{m_1!\cdots m_K!}\end{array}$$

2.2.1 디리클레 분포

• 다항 분포의 켤레 사전 분포가 디리클레 분포Dirichlet distribution이다($0\le {\mu }_k\le 1$, $\sum _k{\mu }_k=1$).

$$\begin{array}{}\text{(2.25)}& \mathrm{Dir}(\mathit{\mu }\mid \mathit{\alpha })=\frac{\mathrm{\Gamma }({\alpha }_0)}{\mathrm{\Gamma }({\alpha }_1)\cdots \mathrm{\Gamma }({\alpha }_K)}\prod _{k=1}^K{\mu }_k^{{\alpha }_k-1},{\alpha }_0=\sum _{k=1}^K{\alpha }_k\end{array}$$

• 가능도(2.23)를 곱하면 사후 분포 $p(\mathit{\mu }\mid \mathcal{D},\mathit{\alpha })\propto \prod _k{\mu }_k^{{\alpha }_k+m_k-1}$로 다시 디리클레 분포가 되어 순차적 성질을 가진다.

그림 2.4 · 세 변수 ${\mu }_1,{\mu }_2,{\mu }_3$에 대한 디리클레 분포는 $\sum _k{\mu }_k=1$ 제약으로 인해 단체simplex 위로 제한된다.

2.3 가우시안 분포

• 단일·다변량 가우시안 분포는 각각 다음과 같다($\mathit{\mu }$: 평균, $\mathbf{\Sigma }$: 공분산).

$$\mathcal{N}(x\mid \mu ,{\sigma }^2)=\frac{1}{(2\pi {\sigma }^2{)}^{1/2}}\exp \{-\frac{(x-\mu {)}^2}{2{\sigma }^2}\},\mathcal{N}(\mathbf{x}\mid \mathit{\mu },\mathbf{\Sigma })=\frac{1}{(2\pi {)}^{D/2}|\mathbf{\Sigma }{|}^{1/2}}\exp \{-\frac{1}{2}(\mathbf{x}-\mathit{\mu }{)}^{\mathrm{\top }}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathit{\mu })\}$$

• 중심 극한 정리central limit theorem에 따라 여러 확률 변수의 합은 변수 수가 늘수록 가우시안에 가까워진다.

그림 2.6 · 균등분포 $N$개 값의 평균 히스토그램. $N$이 커질수록 가우시안 형태가 된다.

실습 · 중심 극한 정리

$[0,1]$ 균등분포 $N$개의 평균이 $N$이 커질수록 가우시안에 가까워지고, 분산이 $\frac{1}{12N}$로 줄어듦을 확인하세요.

import numpy as np
rng = np.random.default_rng(0)
trials = 200000
print("N개 균등분포 U(0,1)의 평균 분포:")
for N in [1, 2, 10]:
    m = rng.uniform(0, 1, (trials, N)).mean(1)
    print(f"  N={N:2d}: 표본평균={m.mean():.3f}(이론 0.5), 표본분산={m.var():.4f}(이론 {1/12/N:.4f})")
print("N이 커질수록 평균의 분포가 가우시안에 가까워진다(중심극한정리).")

• 가우시안의 기하는 지수부의 이차식 ${\mathrm{\Delta }}^2=(\mathbf{x}-\mathit{\mu }{)}^{\mathrm{\top }}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathit{\mu })$로 드러난다. $\mathrm{\Delta }$는 마할라노비스 거리Mahalanobis distance이며, $\mathbf{\Sigma }=\mathbf{I}$이면 유클리드 거리Euclidean distance가 된다.
• $\mathbf{\Sigma }$의 고유분해 $\mathbf{\Sigma }{\mathbf{u}}_i={\lambda }_i{\mathbf{u}}_i$(${\mathbf{u}}_i$는 정규직교orthonormal)를 쓰면 $\mathbf{\Sigma }=\sum _i{\lambda }_i{\mathbf{u}}_i{\mathbf{u}}_i^{\mathrm{\top }}$, ${\mathbf{\Sigma }}^{-1}=\sum _i\frac{1}{{\lambda }_i}{\mathbf{u}}_i{\mathbf{u}}_i^{\mathrm{\top }}$이고, $y_i={\mathbf{u}}_i^{\mathrm{\top }}(\mathbf{x}-\mathit{\mu })$로 좌표를 바꾸면 ${\mathrm{\Delta }}^2=\sum _i{y}_i^2/{\lambda }_i$이다.

그림 2.7 · 상수 밀도 타원의 축은 공분산의 고유벡터 ${\mathbf{u}}_i$, 축의 길이는 고윳값 ${\lambda }_i$로 정해진다.

• 새 좌표 $\mathbf{y}=\mathbf{U}(\mathbf{x}-\mathit{\mu })$에서 야코비안 $|\mathbf{J}|=1$, $|\mathbf{\Sigma }{|}^{1/2}=\prod _j{\lambda }_j^{1/2}$이므로 $p(\mathbf{y})=\prod _j\frac{1}{(2\pi {\lambda }_j{)}^{1/2}}\exp \{-y_j^2/2{\lambda }_j\}$로 $D$개의 독립 단변량 가우시안의 곱이 된다. 즉 고유벡터 축을 따라 인수분해된다.
• 큰 $D$에서 완전 공분산은 계산이 비싸므로 대각 행렬diagonal matrix 공분산을 쓰기도 한다. 또 가우시안은 단봉unimodal 분포라 다봉multimodal 분포를 근사하지 못하는데, 잠재 변수latent variable 등으로 이를 해소한다.

2.3.1 조건부 가우시안 분포

• 결합 분포가 가우시안이면 조건부 분포와 주변 분포도 가우시안이다. $\mathbf{x}$를 ${\mathbf{x}}_a$(앞 $M$개)와 ${\mathbf{x}}_b$로 나누고, 정밀도 행렬precision matrix $\mathbf{\Lambda }={\mathbf{\Sigma }}^{-1}$을 같은 방식으로 분할하면

$$\mathbf{\Sigma }=\left(\begin{array}{cc}{\mathbf{\Sigma }}_{aa}& {\mathbf{\Sigma }}_{ab}\\ {\mathbf{\Sigma }}_{ba}& {\mathbf{\Sigma }}_{bb}\end{array}\right),\mathbf{\Lambda }=\left(\begin{array}{cc}{\mathbf{\Lambda }}_{aa}& {\mathbf{\Lambda }}_{ab}\\ {\mathbf{\Lambda }}_{ba}& {\mathbf{\Lambda }}_{bb}\end{array}\right)$$

• 지수부의 이차식에 제곱식의 완성completing the square을 적용하면 조건부 분포 $p({\mathbf{x}}_a\mid {\mathbf{x}}_b)$의 평균·공분산을 얻는다.

$$\begin{array}{}\text{(2.46–2.47)}& \begin{array}{rl}{\mathit{\mu }}_{a\mid b}& ={\mathit{\mu }}_a-{\mathbf{\Lambda }}_{aa}^{-1}{\mathbf{\Lambda }}_{ab}({\mathbf{x}}_b-{\mathit{\mu }}_b)={\mathit{\mu }}_a+{\mathbf{\Sigma }}_{ab}{\mathbf{\Sigma }}_{bb}^{-1}({\mathbf{x}}_b-{\mathit{\mu }}_b)\\ {\mathbf{\Sigma }}_{a\mid b}& ={\mathbf{\Lambda }}_{aa}^{-1}={\mathbf{\Sigma }}_{aa}-{\mathbf{\Sigma }}_{ab}{\mathbf{\Sigma }}_{bb}^{-1}{\mathbf{\Sigma }}_{ba}\end{array}\end{array}$$

평균은 ${\mathbf{x}}_b$의 일차식, 공분산은 ${\mathbf{x}}_b$에 독립이다(선형 가우시안 모델linear Gaussian model). 분할 행렬 역행렬에서 ${\mathbf{M}}^{-1}=\mathbf{A}-\mathbf{B}{\mathbf{D}}^{-1}\mathbf{C}$를 $\mathbf{D}$에 대한 슈어 보수Schur complement라 한다.

실습 · 조건부 가우시안 공식 검증

${\mathit{\mu }}_{a\mid b}={\mu }_a+{\mathrm{\Sigma }}_{ab}{\mathrm{\Sigma }}_{bb}^{-1}(x_b-{\mu }_b)$, ${\mathrm{\Sigma }}_{a\mid b}={\mathrm{\Sigma }}_{aa}-{\mathrm{\Sigma }}_{ab}{\mathrm{\Sigma }}_{bb}^{-1}{\mathrm{\Sigma }}_{ba}$를 몬테카를로 표본과 비교합니다.

import numpy as np
rng = np.random.default_rng(1)
mu  = np.array([1.0, 2.0])
Sig = np.array([[2.0, 0.8], [0.8, 1.0]])
xb = 3.0
mu_ab  = mu[0] + Sig[0,1]/Sig[1,1]*(xb - mu[1])      # μ_a + Σ_ab Σ_bb^-1 (x_b-μ_b)
var_ab = Sig[0,0] - Sig[0,1]**2/Sig[1,1]             # Σ_aa - Σ_ab Σ_bb^-1 Σ_ba
print(f"이론 조건부 평균 μ_a|b (x_b={xb}) = {mu_ab:.4f}")
print(f"이론 조건부 분산 Σ_a|b          = {var_ab:.4f}")
X = rng.multivariate_normal(mu, Sig, 2_000_000)
mask = np.abs(X[:,1]-xb) < 0.05
print(f"[MC] x_b≈{xb} 표본에서  x_a 평균={X[mask,0].mean():.4f}, 분산={X[mask,0].var():.4f}")

2.3.2 주변 가우시안 분포

분할 가우시안

결합 가우시안 $\mathcal{N}(\mathbf{x}\mid \mathit{\mu },\mathbf{\Sigma })$을 $\mathbf{x}=({\mathbf{x}}_a,{\mathbf{x}}_b)$로 분할하면, 조건부 분포와 주변 분포는 모두 가우시안이다.

$$\begin{array}{rl}p({\mathbf{x}}_a\mid {\mathbf{x}}_b)& =\mathcal{N}({\mathbf{x}}_a\mid {\mathit{\mu }}_{a\mid b},{\mathbf{\Lambda }}_{aa}^{-1}),{\mathit{\mu }}_{a\mid b}={\mathit{\mu }}_a-{\mathbf{\Lambda }}_{aa}^{-1}{\mathbf{\Lambda }}_{ab}({\mathbf{x}}_b-{\mathit{\mu }}_b)\\ p({\mathbf{x}}_a)& =\mathcal{N}({\mathbf{x}}_a\mid {\mathit{\mu }}_a,{\mathbf{\Sigma }}_{aa})\end{array}$$

그림 2.9 · (좌) 결합 분포 $p(x_a,x_b)$. (우) 주변 분포 $p(x_a)$(청색)와 $x_b=0.7$의 조건부 분포(적색).

2.3.3 가우시안 변수에 대한 베이지안 정리

• 선형 가우시안 모델 $p(\mathbf{x})=\mathcal{N}(\mathbf{x}\mid \mathit{\mu },{\mathbf{\Lambda }}^{-1})$, $p(\mathbf{y}\mid \mathbf{x})=\mathcal{N}(\mathbf{y}\mid \mathbf{A}\mathbf{x}+\mathbf{b},{\mathbf{L}}^{-1})$에서 결합 $\mathbf{z}=(\mathbf{x},\mathbf{y})$의 로그를 이차식으로 정리하면 주변·조건부 분포를 얻는다.

$$\begin{array}{rl}p(\mathbf{y})& =\mathcal{N}(\mathbf{y}\mid \mathbf{A}\mathit{\mu }+\mathbf{b},{\mathbf{L}}^{-1}+\mathbf{A}{\mathbf{\Lambda }}^{-1}{\mathbf{A}}^{\mathrm{\top }})\\ p(\mathbf{x}\mid \mathbf{y})& =\mathcal{N}(\mathbf{x}\mid (\mathbf{\Lambda }+{\mathbf{A}}^{\mathrm{\top }}\mathbf{L}\mathbf{A}{)}^{-1}\{{\mathbf{A}}^{\mathrm{\top }}\mathbf{L}(\mathbf{y}-\mathbf{b})+\mathbf{\Lambda }\mathit{\mu }\},(\mathbf{\Lambda }+{\mathbf{A}}^{\mathrm{\top }}\mathbf{L}\mathbf{A}{)}^{-1})\end{array}$$

$p(\mathbf{x})$를 사전, $p(\mathbf{x}\mid \mathbf{y})$를 사후로 보면 이는 가우시안에 대한 베이즈 정리이다. $\mathbf{A}=\mathbf{I}$이면 $p(\mathbf{y})$는 두 가우시안의 컨볼루션convolution(평균과 공분산이 각각 합)이 된다.

2.3.4 가우시안 분포의 최대 가능도

• i.i.d. 데이터 $\mathbf{X}=({\mathbf{x}}_1,\dots ,{\mathbf{x}}_N{)}^{\mathrm{\top }}$의 로그 가능도는 $\sum _n{\mathbf{x}}_n$과 $\sum _n{\mathbf{x}}_n{\mathbf{x}}_n^{\mathrm{\top }}$(충분 통계량)에만 의존하며, 최대 가능도 해는

$${\mathit{\mu }}_{\mathrm{ML}}=\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}_n,{\mathbf{\Sigma }}_{\mathrm{ML}}=\frac{1}{N}\sum _{n=1}^N({\mathbf{x}}_n-{\mathit{\mu }}_{\mathrm{ML}})({\mathbf{x}}_n-{\mathit{\mu }}_{\mathrm{ML}}{)}^{\mathrm{\top }}$$

2.3.5 가우시안 분포에서의 베이지안 추론

• 분산 ${\sigma }^2$을 아는 상태에서 평균 $\mu$를 추정할 때, 가능도가 $\mu$의 이차식 지수 형태이므로 사전 분포 $p(\mu )=\mathcal{N}(\mu \mid {\mu }_0,{\sigma }_0^2)$가 켤레다. 사후 분포는

$$\begin{array}{}\text{(2.141)}& p(\mu \mid \mathsf{x})=\mathcal{N}(\mu \mid {\mu }_N,{\sigma }_N^2),{\mu }_N=\frac{{\sigma }^2}{N{\sigma }_0^2+{\sigma }^2}{\mu }_0+\frac{N{\sigma }_0^2}{N{\sigma }_0^2+{\sigma }^2}{\mu }_{\mathrm{ML}},\frac{1}{{\sigma }_N^2}=\frac{1}{{\sigma }_0^2}+\frac{N}{{\sigma }^2}\end{array}$$

사후 평균은 사전 평균 ${\mu }_0$와 최대 가능도 해 ${\mu }_{\mathrm{ML}}$의 절충이다($N=0$이면 사전 평균, $N\to \mathrm{\infty }$이면 최대 가능도 해).

그림 2.12 · 데이터 수가 늘수록 평균 $\mu$의 사후 분포가 최대 가능도 해로 이동·수축한다.

2.3.6 가우시안 분포의 혼합

그림 2.21 · '오래된 믿음' 데이터. (좌) 단일 가우시안은 두 무리를 잡지 못한다. (우) 두 가우시안의 결합은 잘 표현한다.

• 충분히 많은 가우시안을 선형 중첩하면 거의 모든 연속 밀도를 근사할 수 있다. 가우시안 혼합 분포mixture of Gaussians는

$$p(\mathbf{x})=\sum _{k=1}^K{\pi }_k\mathcal{N}(\mathbf{x}\mid {\mathit{\mu }}_k,{\mathbf{\Sigma }}_k),\sum _k{\pi }_k=1,0⩽{\pi }_k⩽1$$

각 $\mathcal{N}(\mathbf{x}\mid {\mathit{\mu }}_k,{\mathbf{\Sigma }}_k)$를 성분component, ${\pi }_k=p(k)$를 혼합 계수mixing coefficient라 하며, 사후 확률 $p(k\mid \mathbf{x})$를 책임값responsibilities이라 한다. 로그 가능도 $\ln p(\mathbf{X})=\sum _n\ln \{\sum _k{\pi }_k\mathcal{N}({\mathbf{x}}_n\mid {\mathit{\mu }}_k,{\mathbf{\Sigma }}_k)\}$의 최대화가 학습 목표다(로그 안에 합이 있어 닫힌 해가 없으며, EM을 사용한다 → 7장).

그림 2.23 · 세 가우시안 혼합. (a) 성분별 밀도, (b) 주변 밀도 $p(\mathbf{x})$, (c) 밀도 표면.

2.4 지수족

• 가우시안 등 많은 분포는 지수족exponential family의 특수 경우다.

$$\begin{array}{}\text{(2.194)}& p(\mathbf{x}\mid \mathit{\eta })=h(\mathbf{x})g(\mathit{\eta })\exp \{{\mathit{\eta }}^{\mathrm{\top }}\mathbf{u}(\mathbf{x})\}\end{array}$$

$\mathit{\eta }$는 자연 매개변수natural parameter, $\mathbf{u}(\mathbf{x})$는 $\mathbf{x}$의 함수, $g(\mathit{\eta })$는 정규화 계수로 $g(\mathit{\eta })\int h(\mathbf{x})\exp \{{\mathit{\eta }}^{\mathrm{\top }}\mathbf{u}(\mathbf{x})\}\mathrm{d}\mathbf{x}=1$을 만족한다.

2.4.1 최대 가능도와 충분 통계량

• 정규화 조건 (2.195)의 양변을 $\mathit{\eta }$로 미분하면 $-\mathrm{\nabla }\ln g(\mathit{\eta })=\mathbb{E}[\mathbf{u}(\mathbf{x})]$로, 단순 미분으로 모멘트를 얻는다. i.i.d. 데이터에서 최대 가능도 해는

$$-\mathrm{\nabla }\ln g({\mathit{\eta }}_{\text{ML}})=\frac{1}{N}\sum _{n=1}^N\mathbf{u}({\mathbf{x}}_n)$$

으로, $\sum _n\mathbf{u}({\mathbf{x}}_n)$을 통해서만 데이터에 의존한다(충분 통계량).

2.4.2 켤레 사전 분포

• 모든 지수족 분포에는 켤레 사전 분포 $p(\mathit{\eta }\mid \mathit{\chi },\nu )=f(\mathit{\chi },\nu )g(\mathit{\eta }{)}^{\nu }\exp \{\nu {\mathit{\eta }}^{\mathrm{\top }}\mathit{\chi }\}$가 존재하며, 사후 분포는 $p(\mathit{\eta }\mid \mathbf{X},\mathit{\chi },\nu )\propto g(\mathit{\eta }{)}^{\nu +N}\exp \{{\mathit{\eta }}^{\mathrm{\top }}(\sum _n\mathbf{u}({\mathbf{x}}_n)+\nu \mathit{\chi })\}$이다.
• 사전 정보가 불분명할 때는 무정보적 사전 분포uninformative prior로 사전의 영향을 최소화한다.

"Letting the data speak for themselves." — Peter Gould

연습문제

문제 2.1 · 베르누이가 지수족인지 확인

$\mathrm{Bern}(x\mid \mu )={\mu }^x(1-\mu {)}^{1-x}$를 지수 형태로 쓴다.

$$\mathrm{Bern}(x\mid \mu )=\exp \{x\ln \mu +(1-x)\ln (1-\mu )\}=(1-\mu )\exp \{x\ln \frac{\mu }{1-\mu }\}$$

식 (2.194)와 비교하면 $\mathit{\eta }=\ln \frac{\mu }{1-\mu }$(로짓), $u(x)=x$, $h(x)=1$, $g(\eta )=1-\mu =\sigma (-\eta )=\frac{1}{1+e^{\eta }}$이다. 따라서 베르누이는 지수족이며, 자연 매개변수는 로짓, 충분 통계량은 $x$이다.

문제 2.2 · 우드베리 역행렬 공식

$(\mathbf{A}+\mathbf{B}\mathbf{C}\mathbf{D}{)}^{-1}={\mathbf{A}}^{-1}-{\mathbf{A}}^{-1}\mathbf{B}({\mathbf{C}}^{-1}+\mathbf{D}{\mathbf{A}}^{-1}\mathbf{B}{)}^{-1}\mathbf{D}{\mathbf{A}}^{-1}$를 증명한다.

풀이. 우변을 $\mathbf{X}$라 두고 $(\mathbf{A}+\mathbf{B}\mathbf{C}\mathbf{D})\mathbf{X}=\mathbf{I}$임을 보인다. 전개하면

$$(\mathbf{A}+\mathbf{B}\mathbf{C}\mathbf{D})\mathbf{X}=\mathbf{I}-\mathbf{B}({\mathbf{C}}^{-1}+\mathbf{D}{\mathbf{A}}^{-1}\mathbf{B}{)}^{-1}\mathbf{D}{\mathbf{A}}^{-1}+\mathbf{B}\mathbf{C}\mathbf{D}{\mathbf{A}}^{-1}-\mathbf{B}\mathbf{C}\mathbf{D}{\mathbf{A}}^{-1}\mathbf{B}({\mathbf{C}}^{-1}+\mathbf{D}{\mathbf{A}}^{-1}\mathbf{B}{)}^{-1}\mathbf{D}{\mathbf{A}}^{-1}$$

$\mathbf{B}$로 왼쪽, $\mathbf{D}{\mathbf{A}}^{-1}$로 오른쪽을 묶으면 가운데가 $-({\mathbf{C}}^{-1}+\mathbf{D}{\mathbf{A}}^{-1}\mathbf{B}{)}^{-1}+\mathbf{C}-\mathbf{C}\mathbf{D}{\mathbf{A}}^{-1}\mathbf{B}({\mathbf{C}}^{-1}+\mathbf{D}{\mathbf{A}}^{-1}\mathbf{B}{)}^{-1}$이 되고, $\mathbf{C}\mathbf{D}{\mathbf{A}}^{-1}\mathbf{B}=\mathbf{C}({\mathbf{C}}^{-1}+\mathbf{D}{\mathbf{A}}^{-1}\mathbf{B})-\mathbf{I}$를 대입하면 전부 상쇄되어 $(\mathbf{A}+\mathbf{B}\mathbf{C}\mathbf{D})\mathbf{X}=\mathbf{I}$이다. 따라서 성립한다.

문제 2.3 · 다항 분포가 지수족인지 확인

$p(\mathbf{x}\mid \mathit{\mu })=\prod _k{\mu }_k^{x_k}=\exp \{\sum _k{x}_k\ln {\mu }_k\}$이므로, $\mathit{\eta }=(\ln {\mu }_1,\dots ,\ln {\mu }_M{)}^{\mathrm{\top }}$, $\mathbf{u}(\mathbf{x})=\mathbf{x}$, $h(\mathbf{x})=1$, $g(\mathit{\eta })=1$로 두면 식 (2.194) 형태다. 따라서 지수족이다(단, $\sum _k{\mu }_k=1$ 제약으로 자연 매개변수는 종속적이다. 이를 소거하면 ${\eta }_k=\ln ({\mu }_k/{\mu }_M)$인 소프트맥스 형태가 된다).

문제 2.4 · 베타 분포의 평균·분산·최빈값

$\mathrm{Beta}(\mu \mid a,b)\propto {\mu }^{a-1}(1-\mu {)}^{b-1}$. 정규화 상수 $\frac{\mathrm{\Gamma }(a+b)}{\mathrm{\Gamma }(a)\mathrm{\Gamma }(b)}$와 ${\int }_0^1{\mu }^{a-1}(1-\mu {)}^{b-1}\mathrm{d}\mu =\frac{\mathrm{\Gamma }(a)\mathrm{\Gamma }(b)}{\mathrm{\Gamma }(a+b)}$를 이용한다.

평균. $\mathbb{E}[\mu ]=\frac{\mathrm{\Gamma }(a+b)}{\mathrm{\Gamma }(a)\mathrm{\Gamma }(b)}{\int }_0^1{\mu }^a(1-\mu {)}^{b-1}\mathrm{d}\mu =\frac{\mathrm{\Gamma }(a+b)}{\mathrm{\Gamma }(a)\mathrm{\Gamma }(b)}\cdot \frac{\mathrm{\Gamma }(a+1)\mathrm{\Gamma }(b)}{\mathrm{\Gamma }(a+b+1)}={\displaystyle \frac{a}{a+b}}$ ($\mathrm{\Gamma }(a+1)=a\mathrm{\Gamma }(a)$ 사용).

분산. 같은 방식으로 $\mathbb{E}[{\mu }^2]=\frac{(a+1)a}{(a+b+1)(a+b)}$를 구하고 $\mathrm{var}[\mu ]=\mathbb{E}[{\mu }^2]-\mathbb{E}[\mu {]}^2={\displaystyle \frac{ab}{(a+b{)}^2(a+b+1)}}$.

최빈값. $\frac{\mathrm{d}}{\mathrm{d}\mu }\{(a-1)\ln \mu +(b-1)\ln (1-\mu )\}=\frac{a-1}{\mu }-\frac{b-1}{1-\mu }=0\Rightarrow \mathrm{mode}[\mu ]={\displaystyle \frac{a-1}{a+b-2}}$ ($a,b>1$).

문제 2.5 · 두 가우시안 합의 미분 엔트로피

$x_1\sim \mathcal{N}({\mu }_1,{\tau }_1^{-1})$, $x_2\sim \mathcal{N}({\mu }_2,{\tau }_2^{-1})$이고 $x=x_1+x_2$일 때 $p(x)=\int p(x\mid x_2)p(x_2)\mathrm{d}{x}_2$이다. $p(x\mid x_2)=\mathcal{N}(x\mid x_2+{\mu }_1,{\tau }_1^{-1})$이고, 지수부에 제곱식의 완성을 적용하면 두 가우시안의 컨볼루션convolution이 되어

$$p(x)=\mathcal{N}\left(x\right|{\mu }_1+{\mu }_2,{\tau }_1^{-1}+{\tau }_2^{-1})$$

즉 평균은 합, 분산은 ${\sigma }^2={\tau }_1^{-1}+{\tau }_2^{-1}$이다. 단변량 가우시안의 미분 엔트로피 공식 $H[x]=\frac{1}{2}\{1+\ln (2\pi {\sigma }^2)\}$에 대입하면

$$H[x]=\frac{1}{2}\{1+\ln \left(2\pi ({\tau }_1^{-1}+{\tau }_2^{-1})\right)\}$$