문제 1 · 확률적 그래프 모델 그리기 (LDA)

문제 1 — 확률적 그래프 모델 그리기

아래와 같은 생성 모델 식을 토대로 이에 대응하는 그래프 모델을 그리시오. $w_{d n}$ 은 관측값이다.

\begin{aligned} α, β, \\ θ_{d} ∣ α \sim Dir (α), d = 1, \dots, D, \\ ϕ_{k} ∣ β \sim Dir (β), k = 1, \dots, K, \\ z_{d n} ∣ θ_{d} \sim Mult (θ_{d}), n = 1, \dots, N_{d}, \\ w_{d n} ∣ z_{d n}, ϕ \sim Mult (ϕ_{z_{d n}}) \end{aligned}

확률적 그래프 모델을 그리는 과정에서는 각 확률 분포가 어떤 모양을 따르는지는 크게 상관하지 않는다. 위 생성 모델은 잠재 디리클레 할당latent Dirichlet allocation; LDA 모델이다.

풀이 및 해설

생성 순서 $α \to θ_{d} \to z_{d n} \to w_{d n} \leftarrow ϕ_{k} \leftarrow β$ 를 따라 방향 그래프를 그리고, 판(plate) 으로 반복 구조를 표현한다. 관측 변수 $w_{d n}$ 만 음영(shaded) 처리한다.

구성 요소 정리

노드(확률 변수): 하이퍼파라미터 $α, β$ , 문서별 주제 분포 $θ_{d}$ , 주제별 단어 분포 $ϕ_{k}$ , 잠재 주제 배정 $z_{d n}$ , 관측 단어 $w_{d n}$ .
간선(의존성): $α \to θ_{d}$ , $θ_{d} \to z_{d n}$ , $z_{d n} \to w_{d n}$ , $β \to ϕ_{k}$ , $ϕ_{k} \to w_{d n}$ .
판(plate):
- $D$ 판 — $θ_{d}$ 와 그 안의 단어들을 감싼다(문서 반복).
- $N_{d}$ 판 — $z_{d n}, w_{d n}$ 을 감싼다(문서 $d$ 안의 단어 반복). $D$ 판 내부에 중첩된다.
- $K$ 판 — $ϕ_{k}$ 를 감싼다(주제 반복).
음영: 관측 변수 $w_{d n}$ 만 채워서 표시한다. $α, β$ 는 상수(하이퍼파라미터)이므로 판 밖에 둔다.

문제 1 · 확률적 그래프 모델 그리기 (LDA) ​

문제 1 · 확률적 그래프 모델 그리기 (LDA)