← Playground← 놀이터

PRISM · Statistical-Mechanics PlaygroundPRISM · 통계역학 놀이터

Information Bottleneck정보 병목
Keep only the bits of the input that predict the target표적을 예측하는 정보만 남긴다

A good representation T should be a minimal sufficient summary of the input X: throw away everything that doesn't help predict the target Y. The information bottleneck makes this precise — squeeze I(X;T) (how many bits you keep) while holding I(T;Y) (how much you can predict) as high as possible. Compress X here by quantizing it, and trace the tradeoff on the information plane.좋은 표현 T는 입력 X의 최소 충분 요약이어야 한다: 표적 Y 예측에 도움 안 되는 것은 모두 버린다. 정보 병목은 이를 정밀하게 만든다 — I(X;T)(유지하는 비트 수)를 줄이면서 I(T;Y)(예측 가능한 양)를 최대한 높게 유지한다. 여기서 X를 양자화해 압축하고, 정보 평면 위에 트레이드오프를 그린다.

The information plane정보 평면 I(T;Y) vs I(X;T)
I(X;T) = 0 bitscompression →압축 →→
Encoder T = quantize(X) · target p(Y=1 | x)인코더 T = 양자화(X) · 표적 p(Y=1 | x)
x = 0Xx = 1
Controls제어판
Quantization bins K양자화 구간 수 K compression level압축 수준4

Target rule p(Y=1 | x)표적 규칙 p(Y=1 | x)

Label noise레이블 잡음 softens p(Y|x)p(Y|x)를 부드럽게0.15
Slide K: more bins keep more bits (right) and predict more (up), with diminishing returns.K를 조절하세요: 구간이 많을수록 더 많은 비트(오른쪽)와 더 큰 예측(위쪽)을 얻지만, 수익은 점점 줄어듭니다.
Measurements (bits)측정값 (비트) –
I(T;Y) prediction예측
–
I(X;T) bits kept유지 비트
–
I(X;Y) ceiling상한
–
captured포착률
–
H(Y)
–
K
–
Things to try해볼 것들
  1. Just enough bits: for Threshold, K = 2 already captures almost all of I(X;Y) — one bit is nearly sufficient.딱 필요한 비트: 임계 규칙에서는 K = 2만으로 I(X;Y)의 거의 전부를 포착한다 — 1비트면 거의 충분하다.
  2. Structure needs resolution: switch to Bands — now you need K ≥ 2×bands before I(T;Y) climbs. Too-coarse bins blur the signal.구조엔 해상도가 필요: 띠 무늬로 바꾸면 K ≥ 2×띠수가 되어야 I(T;Y)가 오른다. 너무 거친 구간은 신호를 뭉갠다.
  3. Noise lowers the ceiling: raise Label noise — I(X;Y) itself drops; no representation can predict what isn't there.잡음이 상한을 낮춘다: 레이블 잡음을 올리면 I(X;Y) 자체가 내려간다; 없는 정보는 어떤 표현도 예측할 수 없다.
  4. Diminishing returns: the curve is concave — the first bits buy the most prediction. That knee is the useful representation.한계 수익 체감: 곡선은 오목하다 — 첫 비트들이 가장 많은 예측을 산다. 그 무릎이 쓸모 있는 표현이다.

Compress, but stay predictive압축하되 예측력은 유지

The bottleneck objective is min I(X;T) − β·I(T;Y). The first term is a rate (bits through the channel X→T); the second is how well T predicts Y. The knob β slides you along the optimal frontier from maximal compression to maximal prediction.병목 목적함수는 min I(X;T) − β·I(T;Y)이다. 첫 항은 채널 X→T를 지나는 비트율, 둘째 항은 T가 Y를 얼마나 잘 예측하는가이다. 손잡이 β는 최대 압축에서 최대 예측까지 최적 경계면을 따라 이동시킨다.

A thermodynamic analogy열역학적 유비

I(X;T) − β·I(T;Y) is a free energy: I(X;T) plays the role of energy (cost of bits) and β an inverse temperature. Optimal encoders satisfy a self-consistent Boltzmann-like equation — representation learning as a physics variational problem.I(X;T) − β·I(T;Y)는 자유 에너지다: I(X;T)는 에너지(비트 비용), β는 역온도 역할을 한다. 최적 인코더는 자기무모순적인 Boltzmann형 방정식을 만족한다 — 물리 변분 문제로서의 표현 학습이다.

The bridge to biomedical databiomedical 데이터로의 다리

Efficient coding says the brain compresses sensory input to what matters — the same principle behind feature selection in high-dimensional neuroimaging and omics, where samples are few and most measured dimensions are noise. The IB gives a principled target for the representation.효율적 부호화는 뇌가 감각 입력을 중요한 것으로 압축한다고 말한다 — 표본은 적고 측정 차원 대부분이 잡음인 고차원 신경영상·오믹스의 특징 선택 뒤에 있는 바로 그 원리다. IB는 표현에 대한 원리적 목표를 제공한다.