← Playground← 놀이터

PRISM · Statistical-Mechanics PlaygroundPRISM · 통계역학 놀이터

Marchenko–Pastur마르첸코–파스투르
The eigenvalue line between random noise and real signal표본 공분산의 고윳값 스펙트럼 — 무작위 잡음과 실제 신호를 가르는 경계

Take N variables and only T samples. Even with pure noise, the sample-covariance eigenvalues are not all 1 — they spread into the Marchenko–Pastur bulk between λ± = (1 ± √q)², where q = N/T. Plant a few real factors and their eigenvalues punch out past λ₊: that edge is the line separating noise from signal.N개의 변수와 T개의 표본만으로 표본 공분산을 추정해 보자. 순수한 잡음만 있어도 표본 공분산의 고윳값은 모두 1이 되지 않는다 — q = N/T일 때 고윳값은 λ± = (1 ± √q)² 사이의 마르첸코–파스투르 벌크(bulk)로 퍼진다. 여기에 실제 인자(factor)를 몇 개 심으면 그 고윳값들이 λ₊를 뚫고 튀어나온다. 바로 그 경계가 잡음과 신호를 가르는 선이다.

Eigenvalue spectrum고윳값 스펙트럼 histogram vs MP density ρ(λ)히스토그램 vs MP 밀도 ρ(λ)
noise bulk잡음 벌크 MP density ρ(λ)MP 밀도 ρ(λ) λ± edges · signal spikesλ± 경계 · 신호 스파이크
λ = 0eigenvalue λ고윳값 λλ = —
Sorted eigenvalues (scree)정렬된 고윳값 (스크리) signal sits above the λ₊ edge신호는 λ₊ 경계 위에 놓인다
Controls제어
Variables N변수 N80
Samples T표본 T200
Signal factors K신호 인자 K planted structure심어 넣은 구조2
Signal strength신호 세기 factor variance인자 분산3.0
aspect q = N/T종횡비 q = N/T
signal eigenvalues > λ₊λ₊ 초과 신호 고윳값
bulk edge λ₋벌크 경계 λ₋
bulk edge λ₊벌크 경계 λ₊
Pure noise fills the bulk; only eigenvalues beyond λ₊ are real signal.순수한 잡음은 벌크를 채운다. λ₊ 너머의 고윳값만이 실제 신호다.

Why noise has structure잡음에 구조가 생기는 이유

With finite samples, the sample covariance C = (1/T)XXᵀ is a noisy estimate. Its eigenvalues follow the Marchenko–Pastur law with density ρ(λ)=√((λ₊−λ)(λ−λ₋))/(2πqλ) — a whole spread even when the truth is the identity.표본이 유한하면 표본 공분산 C = (1/T)XXᵀ은 잡음이 섞인 추정치다. 그 고윳값들은 밀도 ρ(λ)=√((λ₊−λ)(λ−λ₋))/(2πqλ)를 갖는 마르첸코–파스투르 법칙을 따른다 — 참값이 항등행렬일 때조차 넓게 퍼진다.

The λ₊ detection edgeλ₊ 검출 경계

A planted factor of strength s produces an outlier eigenvalue only if s > √q (the BBP transition). Below that it hides inside the bulk; above it, it pops out past λ₊ and becomes detectable.세기 s로 심은 인자는 s > √q일 때에만 이상치 고윳값을 만든다 (BBP 전이). 그보다 작으면 벌크 안에 숨고, 그보다 크면 λ₊를 뚫고 튀어나와 검출된다.

Cleaning covariances공분산 정제

In neuroimaging, finance, and genomics, RMT tells you which principal components are real and which are sampling noise — the basis for denoising connectivity and covariance matrices, a PRISM interest.신경영상, 금융, 유전체학에서 RMT는 어떤 주성분이 실제이고 어떤 것이 표집 잡음인지 알려준다 — 연결성 및 공분산 행렬의 잡음 제거의 토대이며, PRISM의 관심사다.