문제 4 · EM 알고리즘의 적용 (결측치)

문제 4 — EM 알고리즘의 적용

아래는 5개의 관측값을 행row으로 나열한 행렬이며, $\ast$ 기호는 결측치missing observation를 의미한다.

$$\left[\begin{array}{cc}1& 2\\ 2& \ast \\ \ast & 3\\ 4& 5\\ 5& 4\end{array}\right]$$

모든 데이터가 단위행렬을 공분산으로 갖는 정규분포 $\mathcal{N}(\mu ,I)$로부터 생성되었다고 가정하고, 초기 추정치를 $\mu =(2,2)$로 설정하였다. 두 번의 EM 알고리즘을 적용하여 $\mu$를 업데이트하시오.

---

첫 번째 E 단계에서 공분산은 단위행렬이므로 각 결측치는 단순히 $\mu$로 채운다. M 단계에서는 채워진 행렬로 $\mu$를 다시 계산한다. 두 번째 반복도 같은 방식으로 진행한다.

풀이 및 해설

공분산이 $I$(두 차원 독립)이므로, E 단계에서 각 결측치의 조건부 기댓값은 해당 차원의 현재 평균 ${\mu }_j$가 된다.

1차 E 단계 — $\mu =(2,2)$로 결측치를 채운다. $[2,\ast ]\to [2,2]$, $[\ast ,3]\to [2,3]$.

$$\left[\begin{array}{cc}1& 2\\ 2& 2\\ 2& 3\\ 4& 5\\ 5& 4\end{array}\right]$$

1차 M 단계 — 열 평균:

$$\mu =(\frac{1+2+2+4+5}{5},\frac{2+2+3+5+4}{5})=(\frac{14}{5},\frac{16}{5})=(2.8,3.2)$$

2차 E 단계 — 갱신된 $\mu =(2.8,3.2)$로 다시 채운다. $[2,\ast ]\to [2,3.2]$, $[\ast ,3]\to [2.8,3]$.

$$\left[\begin{array}{cc}1& 2\\ 2& 3.2\\ 2.8& 3\\ 4& 5\\ 5& 4\end{array}\right]$$

2차 M 단계 — 열 평균:

$$\mu =(\frac{1+2+2.8+4+5}{5},\frac{2+3.2+3+5+4}{5})=(\frac{14.8}{5},\frac{17.2}{5})=\boxed{{\displaystyle (2.96,3.44)}}$$

두 번의 EM 반복 후 최종 추정치는 $\mu =(2.96,3.44)$이다.

👉 실습(Python)에서 두 번의 EM 재현