문제 3 · 피셔 선형 판별

문제 3 [4점]

아래와 같은 두 클래스 데이터셋에 대해, 피셔의 선형 판별Fisher's linear discriminant을 적용하여 최적의 선형 투영 벡터 $\mathbf{w}$를 구하시오.

$${\mathbf{x}}_1=\{(2,3),(3,3),(3,2)\},{\mathbf{x}}_2=\{(6,5),(7,8),(8,6)\}$$

풀이 및 해설

클래스 평균 ${\mathbf{m}}_1=(\frac{8}{3},\frac{8}{3})$, ${\mathbf{m}}_2=(7,\frac{19}{3})$, ${\mathbf{m}}_2-{\mathbf{m}}_1=(\frac{13}{3},\frac{11}{3})$. 클래스 내 산포 행렬은

$${\mathbf{S}}_{\mathrm{W}}=\left(\begin{array}{cc}\frac{8}{3}& \frac{2}{3}\\ \frac{2}{3}& \frac{16}{3}\end{array}\right),det{\mathbf{S}}_{\mathrm{W}}=\frac{124}{9},{\mathbf{S}}_{\mathrm{W}}^{-1}=\frac{3}{124}\left(\begin{array}{cc}16& -2\\ -2& 8\end{array}\right)$$$$\mathbf{w}\propto {\mathbf{S}}_{\mathrm{W}}^{-1}({\mathbf{m}}_2-{\mathbf{m}}_1)=\left(\begin{array}{c}\frac{3}{2}\\ \frac{1}{2}\end{array}\right)\propto \boxed{{\displaystyle (3,1)}}$$

즉 최적 투영 방향은 $\mathbf{w}\propto (3,1{)}^{\mathrm{\top }}$이다(정규화 시 $(3,1)/\sqrt{10}$).

👉 실습(Python)에서 계산하기