← Playground← 놀이터

PRISM · Statistical-Mechanics PlaygroundPRISM · 통계역학 놀이터

Neural ODE뉴럴 ODE
Depth becomes time — a network as a continuous flow that reshapes data깊이가 시간이 된다 — 데이터를 연속적으로 변형하는 흐름으로서의 신경망

A residual layer h ← h + f(h) is one Euler step of an ODE dh/dt = f(h,t). A Neural ODE takes the limit: infinitely many infinitesimal layers, so the forward pass is integrating a vector field and depth is just how long you flow. Watch the field carry two classes into a new shape — and hit the wall where a 2-D flow can't help.잔차 층 h ← h + f(h)는 ODE dh/dt = f(h,t)의 오일러 한 스텝이다. 뉴럴 ODE는 그 극한이다: 무한히 많은 무한소 층 — 순전파는 벡터장을 적분하는 것이고 깊이는 얼마나 오래 흐르느냐일 뿐이다. 벡터장이 두 클래스를 새로운 모양으로 실어 나르는 것을, 그리고 2차원 흐름이 통하지 않는 벽을 지켜보라.

Phase plane · vector field & the flow of data위상 평면 · 벡터장과 데이터의 흐름 dh/dt = f(h)
class +1클래스 +1 class −1클래스 −1 vector field f벡터장 f linear boundary at t=Tt=T의 선형 경계
Linear separability vs depth t깊이 t에 따른 선형 분리도 best linear split of the two classes두 클래스의 최적 선형 분리
t = 0integration time (depth) →적분 시간 (깊이) →t = T
Controls제어판

Dataset데이터셋

Vector field f(h)벡터장 f(h)

Field strength벡터장 세기 1.4
Integration time T적분 시간 T = depth= 깊이 1.60
Solver steps솔버 스텝 수 = number of layers= 층 수 20

Solver솔버

Press Flow. Then try Rings — a 2-D flow can never separate them.Flow를 누르세요. 그런 다음 동심원을 — 2차원 흐름으로는 절대 분리할 수 없습니다.
Measurements측정값 Separated
separability @ T분리도 @ T
100%
time t시간 t
1.60
step size h = T/L스텝 크기 h = T/L
0.080
latent dim잠재 차원
2
trajectories cross?궤적 교차?
no
max ‖h‖최대 ‖h‖
1.43
Things to try해볼 것들
  1. Depth = time: raise T and watch the flow carry the data further — more depth, more deformation.깊이 = 시간: T를 키우면 흐름이 데이터를 더 멀리 실어 나른다 — 깊을수록 더 큰 변형.
  2. ResNet is Euler: switch to Euler and drop steps low — the trajectory becomes a coarse polyline and can overshoot; RK4 stays smooth.ResNet은 오일러: 오일러로 바꾸고 스텝 수를 낮추면 궤적이 거친 꺾은선이 되어 벗어날 수 있다; RK4는 매끄럽게 유지된다.
  3. The homeomorphism wall: choose Rings. No 2-D field ever makes them linearly separable — flows can't let trajectories cross.위상동형의 벽: 동심원을 고르라. 어떤 2차원 벡터장도 이들을 선형 분리 가능하게 만들 수 없다 — 흐름은 궤적을 교차시키지 못한다.
  4. Augment: turn on +1D — one extra dimension lets the rings lift apart and separability jumps. This is the Augmented Neural ODE.증강: +1D를 켜라 — 여분의 한 차원이 동심원을 들어 올려 분리도가 뛴다. 이것이 Augmented Neural ODE다.

A ResNet is Euler's methodResNet은 오일러 방법

A residual block computes h_{k+1} = h_k + f(h_k) — exactly one Euler step of dh/dt = f(h,t) with step size 1. Stacking blocks integrates the ODE; the Neural ODE takes the continuous limit, so an adaptive solver replaces the layers and "depth" is the integration time T.잔차 블록은 h_{k+1} = h_k + f(h_k)를 계산한다 — 스텝 크기 1인 dh/dt = f(h,t)의 오일러 한 스텝 그대로다. 블록을 쌓는 것은 ODE를 적분하는 것이고, 뉴럴 ODE는 그 연속 극한을 취해 적응형 솔버가 층을 대체하며 "깊이"는 적분 시간 T가 된다.

Flows are homeomorphisms흐름은 위상동형

An ODE flow is a smooth, invertible map — trajectories can never cross. So a Neural ODE cannot turn nested rings into linearly separable data in the same dimension. Augmented Neural ODEs add extra dimensions to give the flow room, exactly as toggling +1D here rescues the rings.ODE 흐름은 매끄럽고 가역인 사상이라 궤적이 절대 교차하지 않는다. 그래서 뉴럴 ODE는 같은 차원에서 내포된 동심원을 선형 분리 가능하게 만들 수 없다. Augmented Neural ODE는 여분의 차원을 더해 흐름에 공간을 주며, 여기서 +1D를 켜는 것이 동심원을 구제하는 것과 정확히 같다.

The bridge to biomedical databiomedical 데이터로의 다리

Because time is continuous, Neural ODEs handle irregularly-sampled and missing data natively — the reason Latent ODEs and ODE-RNNs are used for ICU vitals, EHR trajectories, and physiological signals that arrive at odd intervals. The latent state is a continuous-time representation of the patient — close to PRISM's neural-signal modeling.시간이 연속이므로 뉴럴 ODE는 불규칙 표집과 결측 데이터를 자연스럽게 다룬다 — Latent ODE와 ODE-RNN이 ICU 활력징후, EHR 궤적, 불규칙한 간격으로 들어오는 생리 신호에 쓰이는 이유다. 잠재 상태는 환자에 대한 연속시간 표현이며, PRISM의 신경신호 모델링과 맞닿아 있다.