텐서(Tensor): 좌표계가 바뀌어도 남는 계산의 언어

DaeYoung Kim — Fri, 26 Jun 2026 00:00:00 +0900

AI 요약

텐서는 숫자를 담는 다차원 배열이면서, 더 깊게는 좌표계가 바뀌어도 같은 기하학적 대상을 표현하도록 성분 변환 규칙을 함께 가진 객체다. 이 관점은 일반상대성이론의 공변 미분, 격자 위에서 미분방정식을 근사하는 스텐실 계산, 딥러닝의 대규모 행렬 곱셈까지 이어진다. 핵심은 "무엇이 관찰자의 좌표계에 따라 바뀌고, 무엇이 실제 구조로 남는가"를 분리하는 것이다.

인터랙티브 인포그래픽

좌표축을 돌리면 벡터의 성분은 바뀌지만 실제 화살표는 그대로 남는다. 아래 인포그래픽은 이 직관에서 출발해 텐서 rank, 공변 미분, 5점 스텐실, Tensor Core의 행렬 곱셈까지 하나의 계산 흐름으로 연결한다.

자바스크립트가 꺼져 있으면 인터랙티브 인포그래픽이 표시되지 않을 수 있다.인포그래픽 페이지를 직접 열기

1. 요약 (Executive Summary)

텐서(Tensor)를 가장 짧게 말하면 “좌표계가 바뀌어도 같은 대상을 표현할 수 있는 계산의 언어"다. 컴퓨터 과학에서는 텐서를 다차원 배열로 설명하는 경우가 많다. 이미지 배치는batch x height x width x channel 모양의 4차원 텐서이고, 언어 모델의 은닉 상태는batch x sequence x hidden 모양의 텐서다.

하지만 수학과 물리학에서 텐서는 단순한 배열보다 더 엄격한 개념이다. 숫자의 묶음만 있으면 텐서가 되는 것이 아니라, 좌표계를 바꿀 때 그 숫자들이 어떻게 변해야 같은 기하학적 대상을 계속 가리키는지가 정해져 있어야 한다.

따라서 텐서는 두 층위에서 이해해야 한다.

컴퓨터 과학의 텐서: 다차원 숫자 배열수학/물리학의 텐서: 좌표 변환 규칙을 가진 기하학적 객체

두 정의는 서로 충돌하지 않는다. 딥러닝 프레임워크는 계산 가능한 배열로서의 텐서를 다루고, 상대성이론은 좌표계와 무관한 물리 법칙의 언어로서 텐서를 다룬다. 공통 기반은 선형대수와 다차원 구조다.

2. 텐서의 차원: 스칼라에서 고차원 배열까지

텐서는 차수 또는 order에 따라 다음처럼 이해할 수 있다. 여기서 말하는 rank는 머신러닝 문맥의 축 개수에 가깝다. 선형대수에서 말하는 행렬의 rank와는 다른 의미로 쓰일 수 있으므로 구분해야 한다.

Rank-0 tensor: 스칼라예: 온도, 질량, 에너지처럼 하나의 값으로 표현되는 양Rank-1 tensor: 벡터예: 속도, 힘, 변위처럼 크기와 방향을 가진 양Rank-2 tensor: 행렬예: 응력 텐서, 관성 텐서, 선형 변환, 이미지의 2차원 픽셀 배열Rank-n tensor: 고차원 텐서예: 영상 데이터, 언어 모델의 attention score, 시뮬레이션 격자의 물리장

스칼라는 관찰자가 어떤 좌표계를 쓰더라도 같은 값으로 남는다. 벡터는 성분 값이 바뀔 수 있지만 실제 화살표의 방향과 크기는 유지된다. 행렬과 고차원 텐서는 더 복잡한 방식으로 성분이 바뀌지만, 올바른 변환 규칙을 따르면 같은 물리적 또는 기하학적 대상을 표현한다.

이 차이가 중요하다. 배열은 메모리 안의 숫자 배치이고, 텐서는 그 숫자가 무엇을 의미하는지까지 포함한다.

3. 좌표 독립성: 성분은 바뀌지만 대상은 남는다

어떤 사람이 북동쪽으로 10m 걸었다고 하자. 동쪽과 북쪽을 축으로 잡으면 이 이동은 대략(7.07, 7.07)로 표현된다. 하지만 축을 45도 돌려서 하나의 축을 북동쪽으로 잡으면 같은 이동은(10, 0)처럼 표현될 수 있다.

숫자는 달라졌다. 그러나 실제 이동은 달라지지 않았다.

텐서의 핵심은 여기에 있다. 물리 법칙은 관찰자가 어떤 좌표계를 쓰느냐에 따라 달라져서는 안 된다. 좌표계가 바뀌면 성분은 바뀌어야 한다. 오히려 성분이 올바르게 바뀌기 때문에 실제 대상은 변하지 않는다.

벡터 성분은 좌표 변환에 따라 다음처럼 바뀐다.

V'ᵢ = 변환행렬의 성분 x Vⱼ

2차 텐서는 축이 두 개 붙어 있으므로 더 복잡하게 바뀐다.

T'ᵢⱼ = 한쪽 축의 변환 x 다른 축의 변환 x Tₖₗ

중요한 것은 식의 모양 자체가 아니라 관점이다.

텐서는 “성분의 목록"이 아니라 “좌표계가 바뀔 때 성분이 어떻게 바뀌어야 하는지까지 포함한 대상"이다.

그래서 텐서는 물리학에서 강력하다. 힘, 운동량, 전자기장, 응력, 곡률, 에너지-운동량처럼 관찰자의 기준에 따라 성분은 달라져도 물리적 실재는 보존되어야 하는 대상을 표현할 수 있기 때문이다.

4. 고전 미적분의 한계와 텐서 미적분학

뉴턴과 라이프니츠의 고전 미적분학은 유클리드 공간에서 매우 강력하다. 직선 좌표계, 고정된 기준축, 평평한 공간에서는 함수의 변화율을 편미분으로 계산하면 된다.

문제는 공간 자체가 휘어지거나, 좌표계가 위치마다 달라지는 경우다. 예를 들어 지구 표면의 위도와 경도는 평면 좌표처럼 보이지만 실제로는 구면 위의 좌표다. 같은 “동쪽 방향” 벡터도 위치가 달라지면 기준 방향이 함께 바뀐다.

이때 벡터 성분을 단순히 편미분하면 두 가지 변화가 섞인다.

1. 실제 물리량이 변한 것2. 좌표계의 기준축 자체가 변한 것

텐서 미적분학은 이 둘을 분리하기 위해 공변 미분(Covariant Derivative)을 사용한다. 벡터장V에 대한 공변 미분은 개념적으로 다음과 같다.

∇_μ V^ν = ∂_μ V^ν + Γ^ν_{μλ} V^λ

여기서∂_μ V^ν는 성분의 일반적인 변화율이고,Γ^ν_{μλ}는 좌표계 또는 공간의 기하가 바뀌는 효과를 보정하는 항이다. 이 보정항 덕분에 결과가 다시 텐서처럼 변환된다.

일반상대성이론은 바로 이 언어 위에 세워져 있다. 질량과 에너지는 시공간을 휘게 만들고, 그 휘어진 시공간 안에서 물체는 가능한 한 곧은 경로를 따라 움직인다. 이때 “휘어짐"은 곡률 텐서로, “질량과 에너지의 분포"는 에너지-운동량 텐서로 표현된다.

아인슈타인 방정식은 이 관계를 하나의 텐서 방정식으로 압축한다.

G_μν = (8πG / c⁴) T_μν

왼쪽은 시공간의 기하, 오른쪽은 물질과 에너지다. 양쪽 모두 텐서이기 때문에 좌표계를 바꿔도 법칙의 구조가 유지된다.

5. 스텐실 계산: 미분을 격자 위의 이웃 계산으로 바꾸기

컴퓨터는 연속적인 공간을 그대로 계산하지 못한다. 미분방정식은 무한히 작은 변화량을 다루지만, 컴퓨터 메모리에는 유한한 숫자만 저장할 수 있다. 그래서 연속 공간을 격자(Grid)로 나누고, 각 격자점의 값으로 미분을 근사한다.

스텐실(Stencil)은 이때 사용하는 이웃 점의 패턴이다.

1차원 함수f(x)의 두 번째 미분을 생각해 보자. 격자 간격을Δx라고 하면 가장 기본적인 3점 스텐실은 다음과 같다.

f''(xᵢ) ≈ (fᵢ₊₁ - 2fᵢ + fᵢ₋₁) / Δx²

이 공식은 임의로 만든 것이 아니다.xᵢ 주변에서fᵢ₊₁과fᵢ₋₁을 테일러 급수로 펼치면 1차 미분 항이 서로 상쇄되고, 2차 미분 항이 남는다.

2차원 격자에서 라플라시안은 흔히 5점 스텐실로 근사한다.

∇²uᵢⱼ ≈ (uᵢ₊₁,ⱼ + uᵢ₋₁,ⱼ + uᵢ,ⱼ₊₁ + uᵢ,ⱼ₋₁ - 4uᵢⱼ) / h²

중앙 격자점과 상하좌우 이웃만 보고 곡률 또는 확산의 정도를 계산하는 셈이다.

이 방식은 열 방정식, 파동 방정식, 유체 시뮬레이션, 이미지 처리, 전자기장 계산에서 반복적으로 등장한다. 연속 세계의 미분이 컴퓨터 안에서는 “주변 값을 어떤 가중치로 더할 것인가"라는 국소적 배열 연산으로 바뀐다.

6. 텐서와 스텐실은 어디서 만나는가

스텐실 계산 자체는 단순한 배열 연산처럼 보인다. 하지만 실제 시뮬레이션에서는 격자 위에 올라간 값이 스칼라일 수도, 벡터일 수도, 텐서일 수도 있다.

온도장: 각 격자점에 스칼라가 있음속도장: 각 격자점에 벡터가 있음응력장: 각 격자점에 2차 텐서가 있음시공간 곡률: 각 점에 더 높은 차수의 텐서가 있음

평평한 격자에서는 각 성분에 같은 스텐실을 적용해도 충분한 경우가 많다. 그러나 곡면 좌표, 비균일 격자, 일반상대론적 시뮬레이션처럼 좌표계의 기하가 중요한 경우에는 단순한 성분별 차분만으로는 부족하다. 공변 미분, 메트릭 텐서, 연결 계수 같은 정보가 함께 들어가야 한다.

즉 스텐실은 계산 방법이고, 텐서 미적분학은 그 계산이 어떤 기하학적 의미를 가져야 하는지 알려주는 언어다.

이 관점에서 보면 많은 고성능 계산은 다음 과정을 따른다.

연속 방정식-> 텐서 또는 벡터 형태로 좌표 독립적 표현-> 격자와 스텐실로 이산화-> 희소 행렬, 컨볼루션, GPU 커널로 실행

딥러닝의 컨볼루션도 이와 닮아 있다. 주변 픽셀을 정해진 패턴으로 읽고 가중합을 만든다는 점에서, 스텐실과 컨볼루션은 모두 “국소 이웃 계산"의 가족에 속한다.

7. TensorFlow와 Tensor Core: 현대 컴퓨팅의 텐서

현대 AI에서 텐서는 더 실용적인 의미로 쓰인다. TensorFlow에서 텐서는 같은 자료형을 가진 다차원 배열이다. 모델의 입력, 가중치, 활성값, 그래디언트가 모두 텐서로 흐른다. 그래서 이름도 TensorFlow다. 텐서들이 계산 그래프를 따라 흐른다는 뜻이다.

예를 들어 이미지 분류 모델에서는 다음과 같은 텐서들이 계속 만들어진다.

입력 이미지: batch x height x width x channels컨볼루션 가중치: kernel_height x kernel_width x in_channels x out_channels은닉 활성값: batch x feature_height x feature_width x channels분류 logits: batch x class_count

대규모 언어 모델에서도 구조는 비슷하다.

토큰 임베딩: batch x sequence x hidden어텐션 점수: batch x heads x sequence x sequenceFFN 가중치: hidden x intermediate출력 logits: batch x sequence x vocabulary

이 연산의 중심에는 행렬 곱셈이 있다. Transformer의 attention, MLP, projection layer는 대부분 큰 행렬 곱과 누적 연산으로 환원된다.

NVIDIA의 Tensor Core는 이 병목을 하드웨어 수준에서 빠르게 처리하기 위한 장치다. 핵심 연산은 행렬 곱셈과 누적이다.

D = A x B + C

딥러닝 학습과 추론에서는 이 형태의 연산이 엄청난 횟수로 반복된다. Tensor Core는 FP16, BF16, TF32, FP8 같은 다양한 정밀도 조합을 활용해 일반적인 CUDA core보다 훨씬 높은 처리량을 낼 수 있다. 그래서 현대 AI의 속도 향상은 알고리즘만이 아니라 텐서 연산을 물리적으로 얼마나 빠르게 밀어 넣을 수 있는가와도 연결된다.

8. 같은 단어, 세 가지 의미

“텐서"라는 단어가 헷갈리는 이유는 분야마다 강조점이 다르기 때문이다.

수학의 텐서:다중선형 사상과 좌표 변환 규칙을 가진 객체물리학의 텐서:좌표계와 무관하게 물리 법칙을 표현하는 언어컴퓨터 과학의 텐서:다차원 배열과 그 위에서 수행되는 벡터화된 연산

머신러닝에서torch.Tensor 또는tf.Tensor라고 부르는 값이 항상 수학적으로 엄밀한 텐서라는 뜻은 아니다. 대부분은 다차원 배열이다. 하지만 이름이 완전히 우연인 것도 아니다. 딥러닝은 고차원 배열을 선형대수 연산으로 계속 변환하는 계산 체계이고, 그 뿌리는 텐서가 다루는 다차원 구조와 맞닿아 있다.

따라서 가장 실용적인 구분은 다음이다.

물리학자는 “좌표계가 바뀌어도 법칙이 유지되는가"를 묻고, 엔지니어는 “이 다차원 배열 연산을 얼마나 빠르고 안정적으로 계산할 수 있는가"를 묻는다.

9. 한계와 주의점

텐서를 단순히 “차원이 많은 배열"로만 이해하면 중요한 부분을 놓친다. 좌표 변환 규칙이 없다면 수학적 의미의 텐서라고 보기 어렵다. 반대로 물리학적 텐서 개념을 딥러닝 텐서에 그대로 적용하면 불필요하게 복잡해진다. 두 문맥을 구분해야 한다.

스텐실 계산도 마찬가지다. 간단한 3점, 5점 스텐실은 직관적이지만 항상 정확한 것은 아니다. 격자 간격이 너무 크면 절단 오차가 커지고, 시간 간격이 안정성 조건을 넘으면 수치해가 폭주할 수 있다. 경계 조건을 잘못 넣으면 내부 계산이 아무리 좋아도 전체 해가 틀어진다.

Tensor Core 역시 “AI 전용 지능 장치"가 아니다. 그것은 대규모 행렬 곱셈과 누적 연산을 빠르게 수행하는 특수 하드웨어다. 모델이 더 똑똑해지는 이유는 하드웨어가 생각하기 때문이 아니라, 거대한 텐서 연산을 현실적인 시간 안에 수행할 수 있게 되었기 때문이다.

10. 결론

텐서는 하나의 단어지만 세 세계를 잇는다. 수학에서는 좌표계가 바뀌어도 남는 구조를 표현하고, 물리학에서는 휘어진 시공간과 물리 법칙을 같은 언어로 묶으며, 컴퓨터 과학에서는 고차원 데이터를 빠르게 계산하는 배열 구조가 된다.

스텐실 계산은 이 연속적인 수학을 컴퓨터가 실행할 수 있는 격자 연산으로 바꾸는 방법이다. 공변 미분이 “휘어진 공간에서도 올바른 변화율은 무엇인가"를 묻는다면, 스텐실은 “그 변화율을 유한한 이웃 점만으로 어떻게 근사할 것인가"를 묻는다.

결국 텐서가 던지는 핵심 질문은 이것이다.

“기준이 바뀌어도 변하지 않는 구조는 무엇인가?”

이 질문은 일반상대성이론의 시공간에도, 수치해석의 격자에도, 딥러닝의 거대한 행렬 곱셈에도 그대로 남아 있다.

참고자료

MIT, “Introduction to Tensor Calculus for General Relativity”, 확인일: 2026-06-26,https://web.mit.edu/edbert/GR/gr1.pdf
MIT OpenCourseWare, “Lecture 1: Taylor series and finite differences”, 확인일: 2026-06-26,https://ocw.mit.edu/courses/12-950-atmospheric-and-oceanic-modeling-spring-2004/507424ba4dc53db72128cae0d5231e80_lec1.pdf
TensorFlow, “Introduction to Tensors”, 확인일: 2026-06-26,https://www.tensorflow.org/guide/tensor
NVIDIA Docs, “Matrix Multiplication Background User’s Guide”, 확인일: 2026-06-26,https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html
NVIDIA Technical Blog, “Programming Tensor Cores in CUDA 9”, 확인일: 2026-06-26,https://developer.nvidia.com/blog/programming-tensor-cores-cuda-9/

]]>

Finite Difference | The Logos