Input space (x₁, x₂) — the boundary can be curved원 공간 (x₁, x₂) — 경계가 곡선이 될 수 있음
+1
−1
decision boundary결정 경계
Representation space z = φ(x) — the boundary is always a line표현 공간 z = φ(x) — 경계는 항상 직선
—
wᵀz + b = 0
the same classifier seen in both spaces같은 분류기를 두 공간에서 본 것
LINEAR READOUT
Linear classifier on the representation표현 위의 선형 분류기
Train accuracy훈련 정확도—
Logistic loss로지스틱 손실—
The model is one straight line — the representation decides performance모델은 직선 하나 — 성능은 표현이 결정
TRAINING
Neural net training status신경망 학습 상태
step—
loss손실—
The hidden layer h(x) is the learned representation은닉층 h(x)가 곧 학습된 표현
LINEAR PROBE
Scoreboard by representation (current data)표현별 성적표 (현재 데이터)
Raw원본—
Polar극좌표—
Product·Sum곱·합—
Neural net신경망—
Formulas수식
$$z=\phi(x):\ \mathcal X\to\mathcal Z,\qquad \hat y=\sigma(\mathbf w^\top z+b)\quad(\text{linear readout})$$
$$\phi_{\text{polar}}(x)=\big(\sqrt{x_1^2+x_2^2},\ \operatorname{atan2}(x_2,x_1)\big),\qquad \phi_{\text{prod}}(x)=(x_1x_2,\ x_1+x_2)$$
$$h(x)=\tanh\!\big(W_2\,\tanh(W_1x+b_1)+b_2\big)\in\mathbb R^2,\qquad \hat y=\sigma\big(\mathbf w^\top h(x)+b\big)$$
$$\mathcal L=-\tfrac1n\textstyle\sum_i\big[t_i\log\hat y_i+(1-t_i)\log(1-\hat y_i)\big]$$
$$\text{decision boundary in }\mathcal X:\ \{x:\mathbf w^\top\phi(x)+b=0\}\ \text{(curved)}\quad\Longleftrightarrow\quad\text{in }\mathcal Z:\ \text{a line}$$
What to watch수업 관찰 포인트
- Circles + Raw: impossible with a straight line (≈50%). Switch to polar and the same linear classifier hits 100% — the problem didn't get easier, the representation got better.동심원 + 원본: 직선으로는 불가능(≈50%). 극좌표로 바꾸는 순간 같은 선형 분류기가 100% — 문제가 쉬워진 게 아니라 표현이 좋아진 것이다.
- That same polar map fails on XOR, while product·sum solves only XOR — hand-crafted features are keys that fit just one geometry (the limits of feature engineering).그 극좌표가 XOR에서는 실패하고, 곱·합은 XOR만 해결한다 — 수작업 특징은 특정 기하 구조에만 맞는 열쇠다 (feature engineering의 한계).
- Spiral: every hand-crafted representation fails. Pick the neural net and hit ▶ Train — watch the points in the right-hand representation space unfold until a straight line can separate them. The hidden layer learns the representation itself = representation learning.나선: 어떤 수작업 표현도 실패한다. 신경망을 선택하고 ▶ 학습 — 오른쪽 표현 공간에서 점들이 직선으로 나뉠 때까지 풀려나가는(unfold) 과정을 보라. 은닉층이 표현 자체를 학습한다 = representation learning.
- Reset and retrain, and it converges to a different representation each time yet reaches similar accuracy — a good representation is not unique. If H=8 struggles on the spiral, raise it to H=32 to see the effect of capacity.재초기화 후 다시 학습하면 매번 다른 표현으로 수렴하지만 정확도는 비슷하다 — 좋은 표현은 유일하지 않다. H=8이 나선에서 버거워하면 H=32로 늘려 용량의 효과도 확인해 보라.
- The scoreboard card is exactly a linear probe: “representation quality = the score of a linear classifier placed on top.” It is the standard protocol for evaluating modern representation learning, such as self-supervised learning.성적표 카드가 곧 linear probe: “표현의 품질 = 그 위에 얹은 선형 분류기의 성적”. 자기지도학습 등 현대 표현 학습 평가의 표준 프로토콜이다.