Self-attention

Self-attention은 하나의 sequence 안에 있는 token들이 서로를 직접 참고하면서 각 token의 문맥 표현을 만드는 attention 방식입니다. Attention Is All You Need에서 Transformer의 핵심 연산으로 쓰였고, Transformer 아키텍처가 RNN이나 CNN 없이도 sequence를 처리할 수 있게 만든 중심 아이디어입니다.

쉽게 말하면 self-attention은 문장 안의 각 단어가 “지금 나를 이해하려면 같은 문장 안의 어떤 단어를 얼마나 봐야 하는가”를 계산하는 방법입니다.

한 줄로 말하면

Self-attention은 같은 입력 안의 token끼리 서로의 중요도를 계산해 정보를 섞는 연산입니다.

왜 필요한가

문장은 순서와 관계를 함께 가집니다. 예를 들어 대명사가 무엇을 가리키는지, 동사와 목적어가 어떻게 연결되는지, 문장의 앞부분이 뒷부분을 어떻게 바꾸는지는 단어 하나만 보고 알기 어렵습니다.

과거의 RNN 계열 모델은 앞에서 뒤로 hidden state를 넘기며 이런 관계를 다뤘습니다. 하지만 이 방식은 계산이 순차적이어서 병렬화가 어렵고, 멀리 떨어진 token 사이의 정보가 여러 단계를 지나야 합니다.

Self-attention은 같은 layer 안에서 모든 token 쌍을 직접 비교합니다. 그래서 멀리 떨어진 두 token도 한 번의 attention layer 안에서 연결될 수 있고, 여러 위치를 동시에 계산하기 쉬워집니다.

어떻게 계산하나

Transformer의 attention은 보통 query, key, value라는 세 종류의 벡터로 설명합니다.

• Query: 지금 token이 찾고 싶은 정보
• Key: 다른 token들이 가진 식별 정보
• Value: 실제로 가져와 섞을 내용

각 token의 query는 다른 token들의 key와 비교됩니다. 이 비교 점수가 “얼마나 참고할 것인가”를 나타내고, softmax를 거쳐 가중치가 됩니다. 마지막으로 이 가중치만큼 value를 섞으면 attention 결과가 나옵니다.

Transformer 논문이 사용한 scaled dot-product attention은 query와 key의 내적을 계산하고, key 차원의 제곱근으로 나누어 값의 크기를 안정화한 뒤, softmax를 적용합니다. 차원이 커질수록 내적 값이 커져 softmax가 한쪽으로 지나치게 쏠릴 수 있기 때문에 scaling이 필요합니다.

Multi-head attention과의 관계

Self-attention은 “같은 sequence 안에서 서로를 참고한다”는 관계를 말합니다. Multi-head attention은 이 attention을 여러 head에서 병렬로 수행하는 구현 방식입니다.

한 head만 있으면 token 관계를 한 관점으로만 볼 수 있습니다. Multi-head attention은 여러 작은 표현 공간에서 attention을 나누어 계산한 뒤 다시 합칩니다. 그래서 어떤 head는 가까운 단어 관계를, 어떤 head는 먼 의존성을, 어떤 head는 대명사 참조나 문법적 역할을 더 잘 볼 수 있습니다.

즉 self-attention은 어디를 참고하는가에 대한 개념이고, multi-head attention은 여러 관점의 attention을 동시에 계산하는 방식에 가깝습니다.

Transformer에서의 역할

Transformer encoder에서는 각 token이 입력 sequence 안의 모든 token을 볼 수 있습니다. 번역 원문을 읽는 encoder 입장에서는 문장 전체의 관계를 한꺼번에 계산하는 것이 유리합니다.

Decoder에서는 상황이 조금 다릅니다. 출력 문장을 왼쪽에서 오른쪽으로 생성할 때 아직 생성하지 않은 미래 token을 보면 안 됩니다. 그래서 decoder의 self-attention에는 mask가 들어갑니다. 이 masked self-attention은 현재 위치가 이전 token들만 참고하도록 만듭니다.

이 구분 덕분에 Transformer는 입력을 넓게 이해하면서도, 출력 생성에서는 autoregressive한 순서를 지킬 수 있습니다.

왜 확장에 유리했나

Self-attention은 sequence 길이가 짧거나 중간 정도일 때 병렬화에 강합니다. RNN처럼 token을 하나씩 순서대로 처리하지 않아도 되므로 GPU/TPU 같은 병렬 하드웨어와 잘 맞습니다.

또한 긴 의존성을 배우기 위한 path length가 짧습니다. RNN에서는 앞쪽 token의 정보가 뒤쪽 token에 도달하려면 여러 recurrent step을 지나야 하지만, self-attention에서는 한 layer 안에서 직접 연결될 수 있습니다. 이 점이 Transformer가 대규모 언어 모델의 기본 구조가 되는 데 중요한 역할을 했습니다.

한계

Self-attention의 대표적 한계는 계산 비용입니다. 모든 token 쌍을 비교하므로 sequence 길이가 n일 때 비용이 대략 n²에 비례합니다. 문장이 길어지거나 긴 문서, 고해상도 이미지, 긴 오디오처럼 입력이 커지면 이 비용이 부담이 됩니다.

그래서 이후 연구에서는 sparse attention, local attention, linear attention, chunking, retrieval, long-context architecture처럼 attention 비용을 줄이거나 긴 입력을 나누어 다루는 방법이 계속 등장했습니다.

헷갈리지 말아야 할 점

Self-attention은 “모델이 장기 기억을 갖는다”는 뜻이 아닙니다. Self-attention은 현재 입력 안의 token 관계를 계산합니다. 과거 대화나 작업 기록을 장기적으로 저장하고 다시 불러오는 문제는 Agent memory consolidation 같은 별도 memory system의 영역입니다.

또한 self-attention이 순서를 완전히 버린다는 뜻도 아닙니다. Self-attention 자체에는 순서 정보가 없기 때문에 Transformer는 positional encoding이나 position embedding으로 위치 정보를 주입합니다.

관련 문서

• Transformer 아키텍처
• Attention Is All You Need
• 모델 아키텍처와 Agent Memory의 차이