문제 5 · 확률적 그래프 모델 그리기 (생성형 분류기)

문제 5 [4점]

$N$개의 관측된 데이터-레이블 쌍 $({\mathbf{x}}_n,y_n)$에 대해, 아래의 간단한 생성형 분류기의 확률적 그래프 모델probabilistic graphical model을 그리시오. $\pi$는 레이블 분포의 비율에 대한 가설이며, 데이터 벡터 ${\mathbf{x}}_n$은 $D$차원이다(${\mathbf{x}}_n=[x_{n1},\dots ,x_{nD}]$). 분류기 매개변수 $\mathit{\theta }$는 각 특징 차원마다 클래스 수 $C$만큼 존재한다(${\mathit{\theta }}_d=[{\theta }_{d1},\dots ,{\theta }_{dC}]$). 각 노드는 스칼라값이 되도록 그리시오.

$$p(\mathbf{x},y\mid \mathit{\theta })=p(y\mid \pi )\prod _{d=1}^{D}p(x_d\mid y,{\mathit{\theta }}_d)$$

풀이 및 해설

이는 나이브 베이즈 생성형 분류기의 그래프 모델이다. $\pi \to y_n\to x_{nd}$이고 ${\theta }_d\to x_{nd}$이다. 관측 변수 $x_{nd}$만 음영으로 표시하고, 반복 구조는 판으로 나타낸다.

구성 요소 정리

• 노드: 레이블 비율 가설 $\pi$, 레이블 $y_n$, 관측 특징 $x_{nd}$(음영), 특징별 매개변수 ${\theta }_d$. (각 노드는 스칼라.)
• 간선: $\pi \to y_n$, $y_n\to x_{nd}$, ${\theta }_d\to x_{nd}$.
• 판(plate):
  • $N$ 판 — $y_n$과 $x_{nd}$를 감싼다(데이터 반복).
  • $D$ 판 — $x_{nd}$와 ${\theta }_d$를 감싼다(특징 차원 반복). ${\theta }_d$는 모든 $n$에 공유되므로 $N$ 판 밖에 있어야 하고, $x_{nd}$는 두 인덱스를 모두 가지므로 두 판이 겹치도록 그린다.
• 음영: 관측 변수 $x_{nd}$만 채운다. $\pi$는 판 밖의 전역 매개변수다.