문제 5 · 확률적 생성 모델 (결정 경계)

문제 5 [6점]

이진 분류($k=1,2$)에서 데이터 $\mathbf{x}$의 조건부 밀도가 다음과 같이 주어졌다. 이 때, 결정 경계 $p({\mathcal{C}}_1\mid \mathbf{x})$를 구하시오. $Z$는 임의의 $0$이 아닌 상수이다.

$$p(\mathbf{x}\mid {\mathcal{C}}_k)=\frac{1}{Z}\exp \{-\frac{1}{2}(\mathbf{x}-{\mathit{\mu }}_k{)}^{\mathrm{\top }}{\mathbf{\Sigma }}_k^{-1}(\mathbf{x}-{\mathit{\mu }}_k)\}$$

풀이 및 해설

사후확률을 로지스틱 시그모이드로 정리한다.

$$p({\mathcal{C}}_1\mid \mathbf{x})=\frac{p(\mathbf{x}\mid {\mathcal{C}}_1)p({\mathcal{C}}_1)}{p(\mathbf{x}\mid {\mathcal{C}}_1)p({\mathcal{C}}_1)+p(\mathbf{x}\mid {\mathcal{C}}_2)p({\mathcal{C}}_2)}=\sigma (a),\sigma (a)=\frac{1}{1+e^{-a}}$$

여기서

$$a=\ln \frac{p(\mathbf{x}\mid {\mathcal{C}}_1)p({\mathcal{C}}_1)}{p(\mathbf{x}\mid {\mathcal{C}}_2)p({\mathcal{C}}_2)}$$

두 밀도의 정규화 상수 $Z$가 같으므로 상쇄되고, 지수부만 남는다.

$$a=-\frac{1}{2}(\mathbf{x}-{\mathit{\mu }}_1{)}^{\mathrm{\top }}{\mathbf{\Sigma }}_1^{-1}(\mathbf{x}-{\mathit{\mu }}_1)+\frac{1}{2}(\mathbf{x}-{\mathit{\mu }}_2{)}^{\mathrm{\top }}{\mathbf{\Sigma }}_2^{-1}(\mathbf{x}-{\mathit{\mu }}_2)+\ln \frac{p({\mathcal{C}}_1)}{p({\mathcal{C}}_2)}$$$$\boxed{{\displaystyle p({\mathcal{C}}_1\mid \mathbf{x})=\sigma (a)}}$$

경계의 형태 — 결정 경계는 $p({\mathcal{C}}_1\mid \mathbf{x})=\frac{1}{2}$, 즉 $a=0$이다.

• ${\mathbf{\Sigma }}_1\ne {\mathbf{\Sigma }}_2$이면 $a$에 ${\mathbf{x}}^{\mathrm{\top }}({\mathbf{\Sigma }}_1^{-1}-{\mathbf{\Sigma }}_2^{-1})\mathbf{x}$ 형태의 이차항이 남아 경계가 곡선(비선형, QDA) 이 된다.
• ${\mathbf{\Sigma }}_1={\mathbf{\Sigma }}_2=\mathbf{\Sigma }$이면 이차항이 상쇄되어

$$a={\mathbf{w}}^{\mathrm{\top }}\mathbf{x}+w_0,\mathbf{w}={\mathbf{\Sigma }}^{-1}({\mathit{\mu }}_1-{\mathit{\mu }}_2),w_0=-\frac{1}{2}{\mathit{\mu }}_1^{\mathrm{\top }}{\mathbf{\Sigma }}^{-1}{\mathit{\mu }}_1+\frac{1}{2}{\mathit{\mu }}_2^{\mathrm{\top }}{\mathbf{\Sigma }}^{-1}{\mathit{\mu }}_2+\ln \frac{p({\mathcal{C}}_1)}{p({\mathcal{C}}_2)}$$

가 되어 $p({\mathcal{C}}_1\mid \mathbf{x})=\sigma ({\mathbf{w}}^{\mathrm{\top }}\mathbf{x}+w_0)$인 선형 경계(LDA) 로 단순화된다.