문제 10 · 주성분 분석

문제 10 — 주성분 분석

아래 3개의 관측값이 주어졌다.

$$\{(1,0),(0,1),(1,1)\}$$

이 관측값들의 제 1 주성분을 구하시오.

---

평균을 $\overline{\mathbf{x}}$라 할 때 공분산 행렬은 $\mathbf{S}={\displaystyle \frac{1}{N}}\sum _{n=1}^N({\mathbf{x}}_n-\overline{\mathbf{x}})({\mathbf{x}}_n-\overline{\mathbf{x}}{)}^{\mathrm{\top }}$이다. 행렬 $A$의 고윳값 $\lambda$는 특성방정식 $det(A-\lambda I)=0$으로 구하며, $\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$의 행렬식은 $ad-bc$이다.

풀이 및 해설

평균:

$$\overline{\mathbf{x}}=(\frac{1+0+1}{3},\frac{0+1+1}{3})=(\frac{2}{3},\frac{2}{3})$$

중심화된 데이터: $(\frac{1}{3},-\frac{2}{3}),(-\frac{2}{3},\frac{1}{3}),(\frac{1}{3},\frac{1}{3})$.

공분산 행렬 ($N=3$):

$$\mathbf{S}=\frac{1}{3}[\left(\begin{array}{cc}\frac{1}{9}& -\frac{2}{9}\\ -\frac{2}{9}& \frac{4}{9}\end{array}\right)+\left(\begin{array}{cc}\frac{4}{9}& -\frac{2}{9}\\ -\frac{2}{9}& \frac{1}{9}\end{array}\right)+\left(\begin{array}{cc}\frac{1}{9}& \frac{1}{9}\\ \frac{1}{9}& \frac{1}{9}\end{array}\right)]=\frac{1}{3}\left(\begin{array}{cc}\frac{2}{3}& -\frac{1}{3}\\ -\frac{1}{3}& \frac{2}{3}\end{array}\right)=\left(\begin{array}{cc}\frac{2}{9}& -\frac{1}{9}\\ -\frac{1}{9}& \frac{2}{9}\end{array}\right)$$

고윳값 — $det(\mathbf{S}-\lambda I)={(\frac{2}{9}-\lambda )}^2-{\left(\frac{1}{9}\right)}^2=0$:

$$\frac{2}{9}-\lambda =\pm \frac{1}{9}⟹\lambda =\frac{1}{9}\text{또는}\lambda =\frac{1}{3}$$

제1 주성분 — 가장 큰 고윳값 ${\lambda }_1=\frac{1}{3}$에 대응하는 고유벡터. $(\mathbf{S}-\frac{1}{3}I)\mathbf{v}=0$에서 $-\frac{1}{9}{v}_1-\frac{1}{9}{v}_2=0\Rightarrow v_1=-v_2$이므로

$$\boxed{{\displaystyle {\mathbf{v}}_1\propto (1,-1),\text{정규화 }\frac{1}{\sqrt{2}}(1,-1)}}({\lambda }_1=\frac{1}{3})$$

즉 데이터 분산이 최대인 방향은 $(1,-1)$이다. 두 점 $(1,0),(0,1)$이 이 축을 따라 크게 퍼져 있어 자연스러운 결과다.

👉 실습(Python)에서 공분산·고유분해 계산