2017년기술
트랜스포머: '어텐션만으로 충분하다'
구글 브레인 연구팀이 논문 「Attention is All You Need」에서 셀프어텐션 기반 트랜스포머 아키텍처를 발표해 GPT·BERT·ChatGPT 등 현대 AI의 기반 구조를 만들었다.
“AI가 언어를 이해하는 방법을 처음부터 다시 쓴 논문.”
이야기의 시작
순서대로 읽지 않아도 전체 문장을 한 번에 이해하는 AI가 나타났다.
발견 전
RNN·LSTM 같은 모델은 문장을 한 단어씩 순서대로 처리해 긴 문맥을 기억하지 못하는 한계가 있었다.
질문
단어 순서를 따라가지 않고도 문장 전체의 관계를 한꺼번에 파악할 수 있을까?
발견
연구팀은 모든 단어 쌍의 관련성을 동시에 계산하는 '셀프어텐션' 메커니즘만으로 번역 성능을 획기적으로 높였다.
당시 반응
발표 직후 NLP 연구자들은 거의 모든 기존 아키텍처를 트랜스포머로 교체하기 시작했다.
세상이 바뀐 점
GPT, BERT, T5, Claude, Gemini 등 현존하는 모든 대형 언어 모델이 트랜스포머 구조 위에 세워졌다.
오늘날
ChatGPT가 세상을 바꾼 것은 결국 2017년 여름, 8명의 연구자가 쓴 논문 한 편에서 시작됐다.