웹 기반 단일 HTML VLA vs LLM Norm · Layer · KV Cache · Token Flow 작성일: 2026-07-08

VLA 모델의 입력→출력 과정을 토큰의 흐름으로 보기

LLM은 “기호의 다음 항목”을 생성한다. VLA는 시각·언어·상태 토큰을 결합한 뒤, 세계를 실제로 바꾸는 행동 토큰 또는 연속 제어값을 생성한다.

이 자료는 OpenVLA/RT-2 계열처럼 Transformer 기반 VLM을 행동 생성기로 확장한 VLA를 중심 사례로 설명한다. 모든 VLA가 동일한 구조를 쓰는 것은 아니며, 확실하지 않은 세부 구현은 “모델별 차이”로 명시했다.

VLA token → action sensor action world norm

1. 큰 그림: LLM은 문장을 닫고, VLA는 루프를 연다

둘 다 Transformer를 쓸 수 있지만, 토큰의 의미와 출력의 책임이 다르다. LLM의 출력은 새 텍스트이고, VLA의 출력은 로봇 또는 에이전트의 다음 물리적 상태를 만든다.

LLM text-only 중심

① 텍스트 입력 prompt
문장, 대화 이력, 시스템 지시가 BPE/SentencePiece류 토큰 ID로 변환된다.
“컵을 집어…”tok_17tok_931
↓
② 토큰 임베딩 + 위치 정보
각 토큰 ID가 벡터가 되고, RoPE 등 위치 정보가 attention 내부에서 반영된다.
x₀x₁position
↓
③ N개 Transformer layer
Pre-Norm → Self-Attention → residual → Norm → MLP → residual. 토큰은 앞선 토큰의 K,V를 보며 다음 토큰 분포를 만든다.
RMSNormQKᵀVMLP
↓
④ KV 캐시
이전 토큰들의 Key/Value를 저장해 autoregressive decoding에서 재계산을 줄인다.
K₀,V₀K₁,V₁K₂,V₂
↓
⑤ 다음 텍스트 토큰
vocabulary 전체에 대한 logits → sampling/beam/greedy → 다음 글자·단어 조각.
P(next token)“습니다”
⑥ 텍스트 루프
출력 토큰은 다시 입력 문맥에 붙는다. 세계는 주로 문맥 안에서 갱신된다.

VLA vision-language-action

① 관측 + 명령 + 상태 입력
RGB/Depth 이미지, 언어 지시, proprioception, gripper 상태, 행동 이력 등이 들어올 수 있다.
image patches“컵을 집어”joint/state
↓
② 시각 인코더 + projector
ViT/CLIP/SigLIP/DINOv2류 feature를 LLM 임베딩 차원으로 사상한다. PaLM-E식 표현으로는 연속 관측을 언어 임베딩 공간에 “주입”한다.
v_patch₀v_patch₁sₜlᵢ
↓
③ Multimodal Transformer layers
Attention이 “언어 명령 ↔ 물체 patch ↔ 로봇 상태 ↔ 과거 행동”을 결합한다. Norm은 서로 다른 모달리티 벡터의 스케일 충돌을 완화한다.
RMSNorm/LayerNormcross-token attentionaffordance
↓
④ KV 캐시: 유용하지만 조건부
명령·정적 prefix는 재사용 가능하다. 그러나 카메라/상태가 바뀌면 그 부분의 K,V는 새 관측 기준으로 다시 계산해야 한다.
instruction KVimage KV?new frame invalidates
↓
⑤ 행동 토큰 또는 연속 제어값
RT-2/OpenVLA식: action을 토큰으로 생성 후 연속 명령으로 디코딩. 다른 VLA/정책은 diffusion/continuous head를 쓸 수 있다.
ΔxΔyΔzgripper
⑥ 세계가 다시 입력을 바꿈
행동이 물체 위치·접촉·시야를 바꾸고, 다음 센서 프레임이 새 prompt가 된다. 여기서 VLA의 본질은 closed-loop policy가 된다.
텍스트 토큰 이미지/시각 토큰 상태 토큰 행동 토큰 KV 캐시 Norm
핵심 차이: LLM은 출력이 주로 “문맥에 추가될 기호”다. VLA는 출력이 “다음 입력 분포를 바꾸는 원인”이다. 그래서 VLA에는 감각 갱신, 실시간성, 로봇 embodiment, 좌표계, 안전 제약이 구조적으로 붙는다.

2. 토큰 흐름: Norm → Attention/KV → MLP → Action

버튼을 눌러 한 control step 안에서 토큰들이 어떻게 처리되는지 확인한다. “토큰”은 반드시 discrete ID만 뜻하지 않는다. 이미지 patch나 로봇 상태처럼 이미 연속 벡터인 입력도 Transformer 내부에서는 토큰 위치를 차지한다.

단계 선택

x₀ = [vision_tokens, text_tokens, state_tokens, action_history]

① Observe: 세계가 토큰 후보로 잘린다

VLA는 언어 prompt만 받지 않는다. 카메라 프레임, 로봇 관절 상태, gripper 상태, 과거 행동까지 함께 들어와 “행동을 생성할 문맥”을 만든다.

Input buffer
RGB frame patch grid instruction joint angles gripper aₜ₋₁
Shared embedding stream
v₀v₁v₂ l₀l₁ sₜaₜ₋₁
Transformer block repeated N times
Norm
Q,K,V
Attention
Residual
MLP
Residual
KV cache per layer
K/V: instruction K/V: vision prefix K/V: generated action
Output head / decoder
act_bin_xact_bin_yact_bin_zgripper continuous control
관측은 아직 “이해”가 아니다. 모델 내부로 들어가기 위해 이미지 patch, 언어 토큰, 상태 벡터가 같은 차원의 residual stream으로 정렬된다.

3. Layer 내부: 왜 Norm과 KV가 중요한가

VLA의 layer는 LLM의 layer와 수학적으로 비슷할 수 있지만, 토큰의 종류가 달라지면서 attention의 의미가 바뀐다. 텍스트 토큰이 이미지 patch와 로봇 상태를 직접 참조하면 “말의 의미”가 “행동 가능성”으로 압축된다.

Pre-NormRMSNorm/LayerNorm: residual stream의 스케일 정렬
Q / K / V projection각 토큰이 무엇을 찾고, 무엇으로 검색되며, 무엇을 전달하는지 분해
Self-Attention언어-이미지-상태-행동 토큰 간 결합
KV Cache이전 토큰의 K,V를 저장하고 decode에서 재사용
MLP / SwiGLU토큰별 feature 변환, affordance 강화
Action Headtext logits가 아니라 motor command 또는 action token

Pre-Norm: 토큰들이 같은 회로를 통과하도록 스케일을 맞춘다

VLA에서는 이미지 encoder 출력, 언어 embedding, 상태 벡터의 분포가 다르다. Norm은 “의미를 만든다”기보다 residual stream이 layer를 안정적으로 지나가도록 크기를 조절한다. Llama 계열은 RMSNorm과 pre-normalization을 사용한 사례가 널리 알려져 있고, RMSNorm은 평균 제거를 생략해 LayerNorm보다 계산이 단순하다.

patch cup pick state aₜ₋₁ latent affordance: graspable cup here
역할서로 다른 모달리티의 벡터 크기가 attention/MLP에서 폭주하지 않도록 조정한다.
LLM과 차이LLM은 주로 텍스트 분포를 맞춘다. VLA는 시각 encoder·상태 sensor·언어 embedding의 결합 안정성이 더 중요하다.
철학적 해석Norm은 “세계의 여러 감각 양식”을 하나의 계산적 공통어로 통역하는 문턱이다.
주의Norm만으로 grounding이 생기지는 않는다. grounding은 데이터, 행동 성공 신호, embodiment와 함께 생긴다.
h' = h + Attention(Norm(h));   h_next = h' + MLP(Norm(h'))

4. KV 캐시: LLM에서는 속도 최적화, VLA에서는 관측 갱신과 충돌한다

KV 캐시는 “모델의 장기기억”이 아니다. 각 layer의 attention에서 이전 토큰들의 Key/Value 텐서를 저장해, 다음 토큰을 만들 때 재계산을 줄이는 inference 최적화다.

캐시 시뮬레이터

LLM prefill은 prompt 전체의 K,V를 한 번 계산한다. 이후 decode에서는 새 토큰의 Q,K,V만 계산하고, 과거 K,V를 캐시에서 읽는다.

로그

[ready] 모드를 선택하고 prefill을 누르세요.
VLA 관점: “명령문”은 여러 제어 step 동안 고정되어 캐시 재사용 후보가 된다. 반면 “카메라 frame”과 “proprioception”은 매 step 바뀌므로 해당 prefix의 K,V는 재사용하면 잘못된 세계를 보게 된다. 따라서 실시간 VLA에서는 캐시, action chunking, frame rate, quantization, 작은 policy head 사이의 trade-off가 발생한다.
항목LLMVLA
캐시 대상prompt와 이미 생성한 텍스트 토큰의 K,V언어 명령·정적 context·행동 이력은 후보. 새 이미지·상태는 보통 재계산 필요
캐시가 깨지는 경우과거 문맥이 바뀌거나 attention mask가 바뀔 때로봇 관측이 바뀌는 매 control step, 카메라 viewpoint 변경, state update
메모리 압박context length × layers × heads × head_dim이미지 patch 토큰이 많아 prefix가 길어질 수 있어 더 민감
실용적 선택긴 대화/문서 생성에서 큰 이득정적 언어 prefix 캐싱, action chunking, 작은 action head, vision feature 재사용 등을 조합

5. 왜 VLA는 LLM과 다른 특징을 갖는가

Transformer가 같아 보여도 입력·출력의 존재론이 다르다. LLM의 토큰은 텍스트 맥락을 연장하지만, VLA의 행동은 센서가 다시 보게 될 세계를 만든다.

① Grounding 압력

“컵”이라는 텍스트 토큰은 이미지 patch, 로봇 gripper pose, 접촉 가능성과 묶여야 한다. 언어적 정답이 아니라 실행 성공이 기준이 된다.

② 실시간 제어 압력

로봇은 다음 토큰을 느긋하게 기다릴 수 없다. action latency가 커지면 제어 성능이 떨어질 수 있어 캐시·양자화·작은 head·action chunking이 중요해진다.

③ 좌표계와 신체성

동일한 “왼쪽으로 이동”도 카메라 좌표, end-effector 좌표, 관절 공간에 따라 의미가 달라진다. VLA의 토큰은 embodiment에 묶인다.

④ 분포 이동

LLM은 잘못된 토큰을 생성해도 대개 문맥 오류로 끝난다. VLA는 한 번의 행동이 다음 관측을 훈련 분포 밖으로 밀어낼 수 있다.

⑤ Norm의 역할 확대

Norm은 단순 안정화 장치이지만, VLA에서는 언어·시각·상태 벡터가 같은 residual stream 안에서 경쟁하게 하므로 스케일 관리가 더 민감하다.

⑥ 평가 기준의 변화

perplexity나 QA 정확도만으로는 충분하지 않다. task success, 안전, 복구 능력, OOD 일반화, 로봇별 calibration이 평가 기준이 된다.

확실하지 않음: 폐쇄형 VLA의 정확한 내부 layer 수, action discretization 방식, KV cache 운용 방식은 공개되지 않은 경우가 많다. 이 자료의 세부 흐름은 공개 논문과 오픈소스 VLA에서 관찰되는 일반 패턴을 기반으로 한 설명이다.

6. 철학적 함의 시각화: 기호의 모델에서 행위의 모델로

아래 그림은 기술적 구조를 철학적으로 해석한 것이다. “추측”과 “해석”이 포함된다. 핵심은 VLA가 단지 세계를 묘사하는 모델이 아니라, 모델의 출력이 세계에 다시 원인으로 들어가는 장치라는 점이다.

LLM: 의미는 기호열 내부에서 다음 기호로 닫힌다 prompt tokens latent text next word VLA: 의미는 세계-몸-행동의 순환에서 검증된다 sensorimage/state tokenslatent policy actionmotor command worldchanged meaning as successful coupling

기호주의 관점

VLA도 결국 모든 것을 토큰과 벡터로 바꾼다. 따라서 “행동”은 기호열의 확장일 뿐이라는 해석이 가능하다. 장점은 통합적 계산 설명이 쉽다는 점이다. 단점은 접촉, 실패, 물리적 되먹임을 과소평가하기 쉽다.

체화/행위주의 관점

VLA의 의미는 예측 텍스트가 아니라 세계와의 결합에서 성립한다. “컵”의 의미는 cup token이 아니라 잡을 수 있는 위치, gripper 상태, 실패 시 복구 전략까지 포함한다. 단점은 같은 model internals를 엄밀한 철학 명제로 환원하기 어렵다는 점이다.

KV 캐시의 철학적 비유

KV 캐시는 기억처럼 보이지만, 실제로는 attention 계산의 흔적이다. LLM에서는 문맥의 과거를 보존하는 장치처럼 작동한다. VLA에서는 새 관측이 들어올 때 “과거 계산”과 “현재 세계”가 충돌한다.

해석 축: 표상 ↔ 결합
표상: 세계를 내부 모델로 압축결합: 행동으로 세계와 맞물림

현재 강조: VLA는 내부 표상을 만들지만, 그 표상의 품질은 행동 후 되돌아오는 관측으로 검증된다.

7. 요약 비교표

VLA를 이해할 때는 “LLM + 카메라”라고만 보면 부족하다. 핵심은 토큰 생성이 세계 갱신과 닫힌 루프를 이룬다는 점이다.

관점LLMVLA
입력 토큰주로 텍스트 토큰텍스트 + 이미지 patch + 상태/proprioception + 행동 이력
공통 공간언어 embedding space시각/상태/언어를 LLM 또는 policy embedding space로 정렬
Norm깊은 Transformer 안정화와 스케일 관리모달리티 간 분포 차이를 같은 residual stream에서 다루는 문턱
Attention텍스트 문맥 내 의존성 학습명령어, 물체 patch, 로봇 상태, 과거 행동을 결합
KV 캐시긴 문맥 autoregressive 생성 가속정적 prefix에는 유용하나, 새 관측이 들어오면 vision/state KV는 재계산 필요
출력다음 텍스트 토큰행동 토큰, action chunk, continuous motor command
실패 양상환각, 논리 오류, 문맥 불일치물체를 놓침, 충돌, 분포 이탈, 안전 문제
철학적 함의의미는 문맥 속 기호 관계로 설명되기 쉬움의미는 perception-action loop에서 검증된다는 해석이 강해짐

8. 근거와 참고 자료

아래 자료를 기준으로 작성했다. 확인일: 2026-07-08.

  1. OpenVLA 공식 페이지: fused visual encoder, projector, Llama 2 7B backbone, tokenized action prediction 설명.
  2. OpenVLA 논문: 7B VLA, Open X-Embodiment robot demonstrations, DINOv2/SigLIP + Llama 2 구조.
  3. RT-2 논문, CoRL/PMLR 2023: robot actions를 text token 형식으로 표현해 VLM을 VLA로 확장하는 접근.
  4. PaLM-E 공식 페이지: 이미지·상태 추정 등 연속 embodied observations를 언어 embedding space에 주입하는 설명.
  5. Hugging Face Transformers: Caching: KV cache가 attention layer의 이전 token K,V를 저장해 subsequent token에서 재사용한다는 설명.
  6. NVIDIA: LLM inference optimization: prefill/decode 단계와 KV caching의 실용적 역할.
  7. LLaMA 논문: pre-normalization/RMSNorm, SwiGLU, RoPE 등 현대 LLM block 구성의 대표 사례.
  8. RMSNorm 논문, NeurIPS 2019: RMSNorm의 re-scaling invariance와 계산 단순화.
이 HTML은 교육용 개념도다. 실제 모델 구현은 attention mask, image token 위치, action tokenizer, action head, control frequency, robot embodiment, fine-tuning 방식에 따라 달라진다.

VLA Token Flow Visualizer · single-file HTML · Korean explanatory edition