← Playground← 놀이터

PRISM · Statistical-Mechanics PlaygroundPRISM · 통계역학 놀이터

Diffusion & Score확산과 스코어
Learn which way is uphill in probability, then walk noise back into data확률이 높아지는 방향을 배우고, 잡음을 데이터로 되돌린다

A diffusion model never learns the data density directly — it learns the score, the gradient ∇ log p(x) that points toward higher probability. To generate a sample you start from pure noise and follow the score downhill in energy with a dash of randomness: annealed Langevin x ← x + ½α·s(x) + √α·z, lowering the noise level as you go. Watch a cloud of noise condense onto the data.확산 모델은 데이터 밀도를 직접 배우지 않는다 — 스코어, 즉 더 높은 확률을 가리키는 기울기 ∇ log p(x)를 배운다. 표본을 생성하려면 순수한 잡음에서 시작해 약간의 무작위성과 함께 스코어를 따라 에너지의 골짜기로 내려간다: 어닐링된 Langevin x ← x + ½α·s(x) + √α·z, 진행하며 잡음 수준을 낮춘다. 잡음 구름이 데이터로 응결하는 것을 보라.

Score field & particles스코어 장 & 입자 s(x) = ∇ log p(x)
data데이터 particles입자 score s(x)스코어 s(x)
Marginal — particles vs data주변분포 — 입자 vs 데이터 x-coordinate densityx좌표 밀도
x = −1.40x = +1.4
Controls제어판

Data distribution데이터 분포

Noise level σ잡음 수준 σ auto-anneals while generating생성 중 자동 어닐링1.00
Step size α-scale스텝 크기 α-계수0.08
Particles입자 수220
Press Generate — noise follows the score down to the data manifold.Generate를 누르세요 — 잡음이 스코어를 따라 데이터 다양체로 내려갑니다.
Measurements측정값 noise
noise level σ잡음 수준 σ
–
Langevin stepsLangevin 스텝
–
mean ‖score‖평균 ‖스코어‖
–
particles입자 수
–
Things to try해볼 것들
  1. Annealing matters: at high σ the score is smooth and long-range; as it anneals down, fine structure appears. Generation walks from coarse to fine.어닐링의 중요성: σ가 높으면 스코어가 매끄럽고 장거리적이며, 낮아질수록 세부 구조가 드러난다. 생성은 거친 것에서 정밀한 것으로 나아간다.
  2. Forward vs reverse: hit Diffuse → to add noise (data → noise), then Generate to reverse it (noise → data).순방향 대 역방향: 확산 →으로 잡음을 더하고(데이터 → 잡음), Generate로 되돌린다(잡음 → 데이터).
  3. Step size: too large an α and particles overshoot and scatter; too small and they crawl. This is the sampler's stability.스텝 크기: α가 너무 크면 입자가 지나쳐 흩어지고, 너무 작으면 기어간다. 샘플러의 안정성 문제다.
  4. Modes: switch to Clusters — particles split and fill each mode in proportion, the payoff of following the true score.모드: 군집으로 바꿔보라 — 입자가 갈라져 각 모드를 비율에 맞게 채운다. 참 스코어를 따르는 보상이다.

Score = force field스코어 = 힘의 장

Writing p(x) ∝ e^(−E(x)), the score is ∇ log p = −∇E — exactly the physical force pulling toward low energy. A diffusion model trains a network to estimate this field by denoising, then reuses it to sample.p(x) ∝ e^(−E(x))로 쓰면 스코어는 ∇ log p = −∇E — 낮은 에너지로 끌어당기는 물리적 힘 그 자체다. 확산 모델은 노이즈 제거로 이 장을 추정하도록 신경망을 학습한 뒤, 그것을 재사용해 표본을 뽑는다.

Annealed Langevin어닐링된 Langevin

Sampling is overdamped Langevin dynamics x ← x + ½α·s(x) + √α·z, run from a high noise level down to a low one. The annealing lets the walker cross between modes early and settle into fine detail late — the same trick as simulated annealing.표집은 과감쇠 Langevin 동역학 x ← x + ½α·s(x) + √α·z이며, 높은 잡음 수준에서 낮은 수준으로 실행한다. 어닐링 덕분에 걸음꾼은 초기에 모드 사이를 건너고 나중에 세부로 자리 잡는다 — 시뮬레이티드 어닐링과 같은 요령이다.

The bridge to biomedical databiomedical 데이터로의 다리

Score-based diffusion is state-of-the-art for medical image synthesis, MRI/CT reconstruction from undersampled scans, and generating realistic synthetic physiological signals for augmentation — a physics-sampling view of the generative representations PRISM works with.스코어 기반 확산은 의료 영상 합성, 저표본 스캔으로부터의 MRI/CT 재구성, 증강을 위한 사실적 합성 생리 신호 생성에서 최고 수준이다 — PRISM이 다루는 생성적 표현을 물리 표집의 관점에서 본 것이다.