문제 6 · 최소제곱법

문제 6 — 최소제곱법

어떤 데이터셋 ${(x_{i}, t_{i}) ∣ i = 1, \dots, N}$ 에 대해, 다음과 같은 선형 회귀linear regression 모델이 있다.

t_{i} = w_{1} x_{i} + w_{0} + ϵ_{i}, ϵ_{i} \sim N (0, σ^{2})

이 때, 각 매개변수 $w_{1}$ , $w_{0}$ 가 최소제곱법least square method을 통해 다음의 목적함수를 최소화하여 얻어진다고 가정하자.

J (w_{0}, w_{1}) = \sum_{i = 1}^{N} (t_{i} - w_{1} x_{i} - w_{0})^{2}

이 때, 각 매개변수를 추정하는 정규 방정식normal equation을 행렬 형태로 명확히 작성하라. 데이터셋이 아래와 같이 주어진 경우, 회귀 매개변수를 추정하라.

{(x_{i}, t_{i})} = {(1, 2), (2, 4), (4, 3), (5, 6)}

정규방정식을 유도하려면 목적함수를 각 매개변수로 미분한 결과를 $0$ 으로 두어 정리하여야 한다.

풀이 및 해설

정규방정식 유도 — $J$ 를 $w_{0}$ , $w_{1}$ 에 대해 각각 편미분하여 $0$ 으로 둔다.

\frac{\partial J}{\partial w_{0}} = - 2 \sum_{i} (t_{i} - w_{1} x_{i} - w_{0}) = 0, \frac{\partial J}{\partial w_{1}} = - 2 \sum_{i} x_{i} (t_{i} - w_{1} x_{i} - w_{0}) = 0

정리하면 다음 연립방정식(정규방정식)이 된다.

(\begin{matrix} N & \sum_{i} x_{i} \\ \sum_{i} x_{i} & \sum_{i} x_{i}^{2} \end{matrix}) (\begin{matrix} w_{0} \\ w_{1} \end{matrix}) = (\begin{matrix} \sum_{i} t_{i} \\ \sum_{i} x_{i} t_{i} \end{matrix})

설계 행렬 $X = (\begin{matrix} 1 & x_{1} \\ ⋮ & ⋮ \\ 1 & x_{N} \end{matrix})$ 을 쓰면 $X^{⊤} X w = X^{⊤} t$ , 즉 $w = (X^{⊤} X)^{- 1} X^{⊤} t$ 이다.

수치 대입 — $N = 4$ , $\sum x_{i} = 12$ , $\sum x_{i}^{2} = 1 + 4 + 16 + 25 = 46$ , $\sum t_{i} = 15$ , $\sum x_{i} t_{i} = 2 + 8 + 12 + 30 = 52$ .

(\begin{matrix} 4 & 12 \\ 12 & 46 \end{matrix}) (\begin{matrix} w_{0} \\ w_{1} \end{matrix}) = (\begin{matrix} 15 \\ 52 \end{matrix})

w_{1} = \frac{N \sum x_{i} t_{i} - \sum x_{i} \sum t_{i}}{N \sum x_{i}^{2} - (\sum x_{i})^{2}} = \frac{4 \cdot 52 - 12 \cdot 15}{4 \cdot 46 - 12^{2}} = \frac{28}{40} = 0.7

w_{0} = \frac{\sum t_{i} - w_{1} \sum x_{i}}{N} = \frac{15 - 0.7 \cdot 12}{4} = \frac{6.6}{4} = 1.65

따라서 추정된 회귀 직선은 $\hat{t} = 0.7 x + 1.65$ 이다.

문제 6 · 최소제곱법 ​