C(P,N) — separable fractionC(P,N) — 분리 가능 비율
α = 2 (capacity)α = 2 (용량)
live load α = P/3실시간 부하 α = P/3
Cover (1965): the fraction of the 2ᴾ random dichotomies a linear neuron can realise, in general position.커버(1965): 일반 위치의 점에 대해 선형 뉴런이 실현할 수 있는 2ᴾ개 무작위 이분법의 비율.
class +1클래스 +1
class −1클래스 −1
decision boundary w·x = 0결정 경계 w·x = 0
Empirical separable fraction (60 redraws at this P): 경험적 분리 가능 비율 (이 P에서 60회 재추출): —
α
Load P/N부하 P/N
—
P patterns over N = 3 weights.가중치 N = 3개당 패턴 P개.
α_c
Capacity용량
2.00
Cover / Gardner storage limit — a constant.커버 · 가드너 저장 한계 — 상수.
P(sep)
Separable prob.분리 확률
—
Cover's C(P,N) at this α, N = 3.이 α에서의 커버 C(P,N), N = 3.
status
Live fit실시간 학습
—
From the perceptron fit above.위 퍼셉트론 학습 결과.
Formulas공식
The fraction of the random ±1 labelings of P points in N dimensions (general position) that a linear neuron can separate:N차원의 일반 위치에 놓인 P개 점에 대한 무작위 ±1 라벨 중, 선형 뉴런이 분리할 수 있는 비율:
$$C(P,N)=2^{1-P}\sum_{k=0}^{N-1}\binom{P-1}{k}\quad(P>N),\qquad C(P,N)=1\ \ (P\le N)$$The load α and its critical value — the capacity is exactly 2 patterns per weight:부하 α와 임계값 — 용량은 정확히 가중치당 2개 패턴입니다:
$$\alpha=\frac{P}{N},\qquad \alpha_c=2\ \ \text{(Cover 1965 · Gardner 1988)}$$What to watch관찰 포인트
- Below α = 2 almost every random labeling is separable; above it, almost none are — a sharp storage phase transition in the thermodynamic (large-N) limit.α = 2 아래에서는 거의 모든 무작위 라벨이 분리 가능하지만, 그 위에서는 거의 불가능합니다 — 열역학적(큰 N) 극한에서 나타나는 뚜렷한 저장 상전이입니다.
- Finite N gives a smooth sigmoid that steepens toward a step as N → ∞ (a finite-size effect). Slide N up and watch the curve tighten around α = 2.유한한 N에서는 매끄러운 시그모이드가 나타나며 N → ∞로 갈수록 계단 함수로 가팔라집니다 (유한 크기 효과). N을 올려 곡선이 α = 2 주위로 조여지는 것을 보세요.
- This α_c = 2 is the classic result of Cover (1965) counting and Gardner (1988) replica theory: a single neuron stores about 2 random patterns per weight.이 α_c = 2는 커버(1965)의 계수 정리와 가드너(1988)의 레플리카 이론이 낳은 고전적 결과입니다: 하나의 뉴런은 가중치당 약 2개의 무작위 패턴을 저장합니다.