문제 7 · 선형 판별 함수

문제 7 — 선형 판별 함수

두 클래스의 데이터가 각각 다음과 같이 주어졌다.

$${\mathbf{x}}_1=\{(0,0),(1,0),(0,1)\},{\mathbf{x}}_2=\{(2,1),(3,1),(2,2)\}$$

이 때, 피셔 선형 판별Fisher's linear discriminant을 적용하여 결정 경계를 구하라.

임의의 $2\times 2$ 행렬 $\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$의 역행렬은 ${\displaystyle \frac{1}{ad-bc}}\left(\begin{array}{cc}d& -b\\ -c& a\end{array}\right)$로 구한다.

---

피셔 선형 판별을 구하기 위해 클래스 간 분산between class variance과 클래스 내 분산within class variance을 사용해야 한다.

$$\begin{array}{c}{\mathbf{S}}_{\mathrm{B}}=({\mathbf{m}}_2-{\mathbf{m}}_1)({\mathbf{m}}_2-{\mathbf{m}}_1{)}^{\mathrm{\top }}\\ {\mathbf{S}}_{\mathrm{W}}=\sum _{n\in {\mathcal{C}}_1}({\mathbf{x}}_n-{\mathbf{m}}_1)({\mathbf{x}}_n-{\mathbf{m}}_1{)}^{\mathrm{\top }}+\sum _{n\in {\mathcal{C}}_2}({\mathbf{x}}_n-{\mathbf{m}}_2)({\mathbf{x}}_n-{\mathbf{m}}_2{)}^{\mathrm{\top }}\end{array}$$

이후 분류기 매개변수를 $\mathbf{w}\propto {\mathbf{S}}_{\mathrm{W}}^{-1}({\mathbf{m}}_2-{\mathbf{m}}_1)$로 찾고, 두 클래스 평균을 투영한 중심점이 결정 경계가 된다.

풀이 및 해설

클래스 평균:

$${\mathbf{m}}_1=\frac{1}{3}[(0,0)+(1,0)+(0,1)]=(\frac{1}{3},\frac{1}{3}),{\mathbf{m}}_2=(\frac{7}{3},\frac{4}{3}),{\mathbf{m}}_2-{\mathbf{m}}_1=(2,1)$$

클래스 내 산포 행렬 — 두 클래스가 동일한 삼각형 배치를 가지므로 각 클래스의 산포가 같다.

$$\sum _{n\in {\mathcal{C}}_1}({\mathbf{x}}_n-{\mathbf{m}}_1)({\mathbf{x}}_n-{\mathbf{m}}_1{)}^{\mathrm{\top }}=\left(\begin{array}{cc}\frac{2}{3}& -\frac{1}{3}\\ -\frac{1}{3}& \frac{2}{3}\end{array}\right)=\sum _{n\in {\mathcal{C}}_2}({\mathbf{x}}_n-{\mathbf{m}}_2)({\mathbf{x}}_n-{\mathbf{m}}_2{)}^{\mathrm{\top }}$$$${\mathbf{S}}_{\mathrm{W}}=\left(\begin{array}{cc}\frac{4}{3}& -\frac{2}{3}\\ -\frac{2}{3}& \frac{4}{3}\end{array}\right)$$

역행렬 — $det{\mathbf{S}}_{\mathrm{W}}=\frac{16}{9}-\frac{4}{9}=\frac{12}{9}=\frac{4}{3}$이므로

$${\mathbf{S}}_{\mathrm{W}}^{-1}=\frac{3}{4}\left(\begin{array}{cc}\frac{4}{3}& \frac{2}{3}\\ \frac{2}{3}& \frac{4}{3}\end{array}\right)=\left(\begin{array}{cc}1& \frac{1}{2}\\ \frac{1}{2}& 1\end{array}\right)$$

판별 방향:

$$\mathbf{w}\propto {\mathbf{S}}_{\mathrm{W}}^{-1}({\mathbf{m}}_2-{\mathbf{m}}_1)=\left(\begin{array}{cc}1& \frac{1}{2}\\ \frac{1}{2}& 1\end{array}\right)\left(\begin{array}{c}2\\ 1\end{array}\right)=\left(\begin{array}{c}\frac{5}{2}\\ 2\end{array}\right)\propto \left(\begin{array}{c}5\\ 4\end{array}\right)$$

결정 경계 — 두 평균의 중점 $\frac{1}{2}({\mathbf{m}}_1+{\mathbf{m}}_2)=(\frac{4}{3},\frac{5}{6})$을 $\mathbf{w}$로 투영한 값이 임곗값이 된다. $\mathbf{w}=(5,4)$로 두면

$${\mathbf{w}}^{\mathrm{\top }}\mathbf{x}={\mathbf{w}}^{\mathrm{\top }}(\frac{4}{3},\frac{5}{6})=5\cdot \frac{4}{3}+4\cdot \frac{5}{6}=10$$$$\boxed{{\displaystyle 5x_1+4x_2=10}}$$

이 직선을 기준으로 ${\mathbf{w}}^{\mathrm{\top }}\mathbf{x}<10$이면 ${\mathcal{C}}_1$, $>10$이면 ${\mathcal{C}}_2$로 분류한다.

👉 실습(Python)에서 산포 행렬과 경계 계산