THE LOGOS / INTERACTIVE LAB
한 토큰이 답변이 되기까지
행렬의 한 행을 고르고, 그 숫자가 다음 계산으로 이어지는 과정을 따라가세요.
학습하지 않은 교육용 모델 · 1계층 / 1헤드 / d=4 / 어휘 6개. 아래 수치는 브라우저에서 직접 계산하며 실제 제품의 활성값이나 성능 측정값이 아닙니다.
입력 토큰
토큰을 누르면 해당 위치의 행과 Attention 연결이 강조됩니다. 이 실험실은 고정 어휘의 토큰 ID를 사용하며 실제 토크나이저는 생략합니다.
숫자 셀을 누르면 행·열·계산값을 자세히 볼 수 있습니다.
▣ 강조 행 = 선택한 토큰× = 미래 위치 차단숫자 색의 진하기 = 절댓값 / Attention은 가중치
이 실험실의 계산 범위와 생략한 것
토큰 임베딩에 작은 sinusoidal 위치 벡터를 더합니다. Q·K 차원은 2, V와 잔차 차원은 4, FFN 중간 차원은 6입니다. 인과 Attention → 잔차 덧셈 → ReLU FFN → 잔차 덧셈 → 어휘 투영 → softmax를 계산합니다. 출력 투영 W_O, 정규화, 여러 헤드·계층, 학습·양자화·샘플링은 생략했습니다. 가중치는 고정된 교육용 숫자이며 생성 결과의 언어적 품질을 의미하지 않습니다.
GPU 보기는 계산에 필요한 데이터의 위치와 재사용을 설명하는 개념도입니다. 실제 칩 배치·메모리 주소·커널 스케줄·측정 속도를 재현하지 않습니다. 표시 바이트 수는 FP32 텐서 원소 수 × 4의 교육용 추산이며 할당·정렬 비용은 제외합니다. MoE는 본문의 별도 개념으로 다루고 이 작은 모델에는 포함하지 않습니다.