트랜스포머(Transformer)와 어텐션(Attention)

트랜스포머(Transformer). RNN의 한계를 어텐션 하나로 뒤집은 구조. "Attention Is All You Need"가 왜 딥러닝의 판도를 바꿨는지, 셀프 어텐션의 동작 원리를 수식과 그림으로 정리한다. 오늘날 GPT·BERT의 출발점이다.

---

들어가며

RNN 글에서 순환 신경망이 순서가 있는 데이터를 어떻게 처리하는지 봤다. 그런데 RNN에는 두 가지 고질적인 한계가 있었다. 2017년, 구글이 발표한 논문 "Attention Is All You Need"는 이 한계를 어텐션이라는 메커니즘 하나로 정면 돌파했다. 그 결과물이 트랜스포머(Transformer) 다.

트랜스포머는 단순히 좋은 모델 하나가 아니다. 오늘날 우리가 쓰는 GPT, BERT, Claude 같은 거의 모든 대규모 언어 모델의 근간이다. 딥러닝의 흐름을 바꾼 구조라 해도 과언이 아니다.

트랜스포머의 핵심은 "순서대로 처리한다"는 RNN의 전제를 버리고, "모든 단어를 한 번에 보되 서로의 관계에 집중한다"로 바꾼 것이다.

이 글에서는 RNN의 한계에서 출발해, 그걸 해결한 셀프 어텐션의 원리를 수식과 함께 정리한다.

---

RNN은 무엇이 문제였나

RNN은 단어를 순서대로 하나씩 처리한다. 이 방식에 두 가지 근본적 한계가 있다.

1. 장기 의존성 문제 (Long-term dependency) 문장이 길어지면 앞쪽 정보가 뒤로 가면서 희미해진다. "나는 프랑스에서 자랐고 ... (긴 문장) ... 그래서 나는 [ ]를 유창하게 한다"에서 빈칸이 '프랑스어'임을 알려면 맨 앞 정보가 필요한데, RNN은 그 사이를 거치며 정보를 잃는다. LSTM·GRU가 완화했지만 완전히 풀진 못했다.

2. 병렬 처리 불가 RNN은 이전 단어의 계산이 끝나야 다음 단어를 처리할 수 있다. 순차적이라서 GPU의 병렬 연산을 제대로 활용하지 못한다. 데이터가 길수록, 모델이 클수록 학습이 느려진다.

트랜스포머는 이 둘을 한 번에 해결한다. 모든 단어를 동시에(병렬로) 처리하면서, 어텐션으로 단어 간 관계를 직접 연결한다.

---

핵심 아이디어: 어텐션(Attention)

어텐션의 직관은 단순하다. 문장을 이해할 때, 각 단어가 다른 어떤 단어에 주목해야 하는지를 계산하는 것이다.

"그 동물은 길을 건너지 않았다. 그것이 너무 피곤했기 때문이다."

여기서 "그것"은 무엇을 가리킬까? 사람은 자연스럽게 "동물"이라고 안다. 어텐션은 바로 이 연결을 수치로 계산한다. "그것"이라는 단어가 문장의 다른 모든 단어와 얼마나 관련 있는지 점수를 매기고, 관련 높은 단어("동물")에 더 큰 가중치를 준다.

이렇게 한 문장 안에서 단어들끼리 서로 주목하는 것을 셀프 어텐션(Self-Attention)이라 한다.

---

Query, Key, Value

셀프 어텐션은 각 단어를 세 가지 벡터로 변환하며 시작한다. 검색 시스템에 비유하면 이해가 쉽다.

벡터	역할	검색 비유
Query (Q)	내가 찾고 있는 것	검색창에 입력한 질의어
Key (K)	각 단어가 가진 "꼬리표"	문서의 제목/태그
Value (V)	실제로 가져올 정보	문서의 내용

동작은 이렇다. 어떤 단어의 Query를 다른 모든 단어의 Key와 비교해 "얼마나 잘 맞는지(유사도)"를 구한다. 그 유사도를 가중치로 삼아 각 단어의 Value를 가중합한다. 관련 높은 단어의 정보일수록 더 많이 섞이는 것이다.

---

어텐션 수식

이 과정을 한 줄의 수식으로 정리한 게 트랜스포머의 핵심이다.

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

하나씩 뜯어보자.

• $QK^T$ : Query와 Key의 내적. 단어들 사이의 유사도(어텐션 점수)를 구한다.
• $\sqrt{d_k}$ : Key 벡터 차원의 제곱근으로 나눈다. 값이 너무 커져 softmax가 한쪽으로 쏠리는 걸 막는 스케일링이다.
• $\text{softmax}$ : 점수들을 합이 1인 확률 분포로 바꾼다. "어디에 얼마나 주목할지"의 비율이 된다.
• $\cdot V$ : 그 비율로 Value를 가중합한다. 최종적으로 "주목한 정보가 섞인" 새 표현을 얻는다.

셀프 어텐션 (Self-Attention)

요약하면, "Query와 Key로 주목할 정도를 정하고, 그만큼 Value를 섞는다"는 게 전부다. 이 연산이 행렬 곱이라 모든 단어에 대해 한 번에(병렬로) 계산된다. RNN의 순차 처리 한계가 여기서 풀린다.

---

멀티 헤드 어텐션 (Multi-Head Attention)

트랜스포머는 어텐션을 한 번만 하지 않는다. 여러 개를 동시에 돌린다. 이걸 멀티 헤드 어텐션이라 한다.

입력 → [헤드 1] 문법적 관계에 주목
      [헤드 2] 의미적 관계에 주목
      [헤드 3] 멀리 떨어진 단어 관계에 주목
      ...
      → 결과를 합쳐서 종합

각 헤드가 서로 다른 관점에서 단어 관계를 학습한다. 한 헤드는 주어-동사 관계를, 다른 헤드는 수식 관계를 보는 식이다. 여러 시선으로 문장을 동시에 분석한 뒤 합치므로, 단일 어텐션보다 풍부한 표현을 얻는다.

# PyTorch에는 멀티 헤드 어텐션이 내장돼 있다
import torch.nn as nn

attention = nn.MultiheadAttention(embed_dim=512, num_heads=8)
# embed_dim: 단어 벡터 차원, num_heads: 헤드 개수
output, weights = attention(query, key, value)

---

순서 정보는 어떻게? — 위치 인코딩

여기서 의문이 생긴다. 트랜스포머는 모든 단어를 한 번에 처리하는데, 그러면 단어의 순서는 어떻게 알까? "나는 너를 좋아해"와 "너를 나는 좋아해"를 구분하려면 위치 정보가 필요하다.

트랜스포머는 각 단어의 임베딩에 위치 인코딩(Positional Encoding) 을 더해서 순서 정보를 주입한다. 원 논문은 사인·코사인 함수를 썼다.

$$PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d}}\right)$$

각 위치마다 고유한 패턴의 값을 더해줌으로써, 모델이 "이 단어가 몇 번째인지"를 알 수 있게 된다. 순차 처리를 포기한 대신, 위치 정보를 명시적으로 더해주는 방식이다.

---

트랜스포머의 전체 구조

원 논문의 트랜스포머는 인코더-디코더 구조다.

• 인코더: 입력 문장을 받아 의미를 담은 표현으로 변환 (셀프 어텐션 + 피드포워드 신경망 반복)
• 디코더: 인코더의 표현과 지금까지 생성한 단어를 보고 다음 단어를 생성

이 구조에서 갈라져 나온 것이 오늘날의 모델들이다.

모델 계열	사용 구조	대표 모델	잘하는 일
인코더만	양방향 이해	BERT	분류, 검색, 이해
디코더만	다음 토큰 생성	GPT, Claude	텍스트 생성
인코더-디코더	변환	T5, BART	번역, 요약

지금 우리가 쓰는 ChatGPT, Claude는 대부분 디코더 기반이다. "다음에 올 단어"를 예측하는 방식으로 글을 생성한다.

---

마치며

트랜스포머가 딥러닝의 판도를 바꾼 건, RNN의 두 한계(장기 의존성, 병렬 처리 불가)를 어텐션이라는 단일 메커니즘으로 동시에 풀었기 때문이다. 모든 단어를 한 번에 보면서 서로의 관계에 집중한다는 발상의 전환이, 더 크고 더 똑똑한 모델을 가능하게 했다.

핵심만 다시 짚으면 이렇다. 셀프 어텐션은 Query·Key·Value로 단어 간 주목도를 계산하고($\text{softmax}(QK^T/\sqrt{d_k})V$), 멀티 헤드로 여러 관점을 동시에 보며, 위치 인코딩으로 순서를 보완한다. 이 단순하면서 강력한 구조 위에 GPT와 BERT, 그리고 오늘날의 LLM이 모두 서 있다.

다음에 LLM이 어떻게 다음 단어를 예측하는지, 혹은 이 트랜스포머가 어떻게 거대 언어 모델로 확장되는지를 더 다뤄보면 좋겠다.

---

참고 출처

• Vaswani et al., "Attention Is All You Need" (2017) — https://arxiv.org/abs/1706.03762
• Jay Alammar, "The Illustrated Transformer" — https://jalammar.github.io/illustrated-transformer/
• PyTorch: MultiheadAttention — https://pytorch.org/docs/stable/generated/torch.nn.MultiheadAttention.html