문제 5 · 피셔 선형 판별

문제 5 [6점]

아래와 같은 두 클래스 데이터셋에 대해, 피셔의 선형 판별Fisher's linear discriminant을 적용하여 최적의 선형 투영 벡터 $\mathbf{w}$를 구하시오.

$${\mathbf{x}}_1=\{(2,3),(3,3),(3,2)\},{\mathbf{x}}_2=\{(6,5),(7,8),(8,6)\}$$

풀이 및 해설

클래스 평균:

$${\mathbf{m}}_1=(\frac{8}{3},\frac{8}{3}),{\mathbf{m}}_2=(7,\frac{19}{3}),{\mathbf{m}}_2-{\mathbf{m}}_1=(\frac{13}{3},\frac{11}{3})$$

클래스 내 산포 행렬 ${\mathbf{S}}_{\mathrm{W}}=\sum _{{\mathcal{C}}_1}(\mathbf{x}-{\mathbf{m}}_1)(\mathbf{x}-{\mathbf{m}}_1{)}^{\mathrm{\top }}+\sum _{{\mathcal{C}}_2}(\mathbf{x}-{\mathbf{m}}_2)(\mathbf{x}-{\mathbf{m}}_2{)}^{\mathrm{\top }}$:

$${\mathbf{S}}_{\mathrm{W}}=\left(\begin{array}{cc}\frac{2}{3}& -\frac{1}{3}\\ -\frac{1}{3}& \frac{2}{3}\end{array}\right)+\left(\begin{array}{cc}2& 1\\ 1& \frac{14}{3}\end{array}\right)=\left(\begin{array}{cc}\frac{8}{3}& \frac{2}{3}\\ \frac{2}{3}& \frac{16}{3}\end{array}\right)$$

역행렬 — $det{\mathbf{S}}_{\mathrm{W}}=\frac{8}{3}\cdot \frac{16}{3}-{\left(\frac{2}{3}\right)}^2=\frac{124}{9}$이므로

$${\mathbf{S}}_{\mathrm{W}}^{-1}=\frac{9}{124}\left(\begin{array}{cc}\frac{16}{3}& -\frac{2}{3}\\ -\frac{2}{3}& \frac{8}{3}\end{array}\right)=\frac{3}{124}\left(\begin{array}{cc}16& -2\\ -2& 8\end{array}\right)$$

투영 벡터:

$$\mathbf{w}\propto {\mathbf{S}}_{\mathrm{W}}^{-1}({\mathbf{m}}_2-{\mathbf{m}}_1)=\frac{3}{124}\left(\begin{array}{cc}16& -2\\ -2& 8\end{array}\right)\left(\begin{array}{c}\frac{13}{3}\\ \frac{11}{3}\end{array}\right)=\left(\begin{array}{c}\frac{3}{2}\\ \frac{1}{2}\end{array}\right)\propto \boxed{{\displaystyle \left(\begin{array}{c}3\\ 1\end{array}\right)}}$$

즉 최적 투영 방향은 $\mathbf{w}\propto (3,1{)}^{\mathrm{\top }}$이다. (필요하면 $\mathbf{w}/\parallel \mathbf{w}\parallel =(3,1)/\sqrt{10}$로 정규화한다.)

👉 실습(Python)에서 산포 행렬과 $\mathbf{w}$ 계산