← Playground← 놀이터

PRISM · Machine Learning PlaygroundPRISM · 머신러닝 놀이터

Regularization & Double Descent정규화와 이중 하강
Test error dips, spikes at the interpolation threshold, then falls again테스트 오차가 내려갔다 보간 임계점에서 치솟은 뒤 다시 떨어진다

Classical wisdom says test error is U-shaped in model size — too simple underfits, too complex overfits. But push the number of features past the number of training points (D = N) and, after a violent spike, test error falls a second time, often below the classical sweet spot. Here it is in a high-dimensional linear model fit by the minimum-norm solution — the effect behind why massively over-parameterized networks generalize.고전 이론은 테스트 오차가 모델 크기에 대해 U자형이라 말한다 — 너무 단순하면 과소적합, 너무 복잡하면 과대적합. 그러나 특징 수를 훈련점 수 너머로(D = N) 밀면, 격렬한 스파이크 뒤에 테스트 오차가 다시 떨어지며 종종 고전적 최적점보다 더 낮아진다. 여기서는 최소 노름 해로 적합한 고차원 선형 모델로 보인다 — 거대한 과매개변수 신경망이 일반화되는 이유의 배경이다.

Error vs model size D — the double-descent curve모델 크기 D에 따른 오차 — 이중 하강 곡선 log scale로그 스케일
test error (risk)테스트 오차 (위험도) train error훈련 오차 D = N thresholdD = N 임계점
Weight norm ‖w‖ — the mechanism가중치 크기 ‖w‖ — 원리 peaks exactly at D = ND = N에서 정확히 최고점
D = 1number of features D →특징 수 D →D = 140
Controls제어판
Model size D모델 크기 D features used사용 특징 수 14
Regularization λ정규화 λ L2 ridge 0.01
Noise σ잡음 σ label noise레이블 잡음 0.20
Training points N훈련점 수 N threshold D = N임계점 D = N 30
Drag D across the dashed D = N line — test error and ‖w‖ both spike, then recover.D를 점선 D = N을 가로질러 끌어보라 — 테스트 오차와 ‖w‖가 함께 치솟았다 회복된다.
Measurements측정값 classical
test error테스트 오차
0.652
train error훈련 오차
0.215
D / N
0.47
regime영역
under-param
‖w‖ weight norm‖w‖ 가중치 크기
0.99
peak at D ≈ ND ≈ N 최고점
D≈30
Things to try해볼 것들
  1. The classical U: in the under-parameterized zone (D < N) sweep D — test error dips then rises, the textbook bias–variance tradeoff.고전적 U: 과소매개변수 구역(D < N)에서 D를 훑으면 테스트 오차가 내려갔다 오른다 — 교과서적 편향–분산 절충.
  2. The spike: set D ≈ N — test error and the weight norm both explode. The model is forced to interpolate the noise with wild weights.스파이크: D ≈ N에서 테스트 오차와 가중치 크기가 함께 폭발한다. 모델이 요동치는 가중치로 잡음을 억지로 보간한다.
  3. Second descent: push D far past N — the minimum-norm solution stays small and test error drops again, often below the classical best.두 번째 하강: D를 N보다 훨씬 크게 하면 최소 노름 해가 작게 유지되고 테스트 오차가 다시 떨어진다 — 종종 고전적 최적보다 낮게.
  4. Regularize the peak away: raise λ — the spike at D = N flattens. Ridge is the practical cure for interpolation blow-up.정규화로 최고점 제거: λ를 올리면 D = N의 스파이크가 평평해진다. 릿지는 보간 폭주의 실전 해법이다.

Classical bias–variance고전적 편향–분산

While D < N the usual U holds: too few features miss the signal (bias), too many chase the noise (variance), and the sweet spot is in between. Ridge λ shifts that balance — the first descent is ordinary regularization at work.D < N인 동안에는 익숙한 U가 성립한다: 특징이 너무 적으면 신호를 놓치고(편향), 너무 많으면 잡음을 좇는다(분산), 최적점은 그 사이에 있다. 릿지 λ가 그 균형을 옮긴다 — 첫 번째 하강은 평범한 정규화의 작동이다.

The interpolation threshold보간 임계점

At D = N there is exactly one solution that fits every point, and it is forced through the noise — the design matrix becomes ill-conditioned, weights blow up, and test error peaks. The ‖w‖ panel spikes at exactly the same place: same cause, two views.D = N에서는 모든 점을 맞추는 해가 정확히 하나뿐이고, 그것은 잡음 사이로 억지로 통과된다 — 설계 행렬이 나빠지고 가중치가 폭발하며 테스트 오차가 최고점을 찍는다. ‖w‖ 패널이 정확히 같은 지점에서 치솟는다: 같은 원인, 두 관점.

Why big models work큰 모델이 통하는 이유

Past D = N there are many exact fits; the minimum-norm one is smooth, so error descends a second time. It's why over-parameterized deep nets generalize, and why mild regularization or early stopping quietly removes the peak in practice.D = N을 지나면 정확한 적합이 무수히 많고, 그중 최소 노름 해는 매끄럽다 — 그래서 오차가 두 번째로 하강한다. 과매개변수 심층 신경망이 일반화되는 이유이며, 실전에서 약한 정규화나 조기 종료가 조용히 최고점을 없애는 이유다.