LLM이 뭔지 5분 만에 이해하기

대부분의 AI 뉴스에 등장하는 LLM — 도대체 뭘까요? 한 번에 5분 안에 정리해 봅니다.

LLM = 엄청나게 똑똑한 “다음 단어 맞히기” 기계

핵심만 말하면 이겁니다. LLM은 “주어진 문장에서 다음에 올 단어를 맞히는” 일을 엄청나게 잘하는 모델입니다.

“오늘 날씨가 정말 ___” → “좋다”, “덥다”, “춥다”, “흐리다”…

이 단순한 작업을 수천억 번 학습시키니까, 어느 순간 “비 오는 날 우산 없이 나가지 마세요” 같은 문장을 스스로 만들어내기 시작한 거예요.

왜 갑자기 잘하게 된 걸까

세 가지가 동시에 성숙했습니다.

요소	변화
데이터	인터넷 전체 텍스트 — 책, 위키, 코드, 대화
컴퓨팅	수천 장의 GPU로 동시에 학습
모델 구조	트랜스포머(Transformer) — 문장 전체를 한 번에 보는 구조

이 셋이 만나면서 LLM은 “다음 단어 맞히기”를 넘어서 문맥 이해, 추론, 번역, 코딩까지 하게 됐습니다.

토큰 — LLM이 보는 “단어의 조각”

LLM은 우리가 쓰는 “단어” 그대로를 보지 않습니다. **토큰(token)**이라는 조각 단위로 봅니다.

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
tokens = tokenizer.encode("안녕하세요, 반갑습니다")
print(tokens)  # [1024, 23456, 15234, ...] 같은 숫자 시퀀스

“안녕하세요”는 3~4개의 토큰으로, “Hello”는 1개의 토큰으로 나뉠 수 있어요. 그래서 한국어가 영어보다 토큰을 더 많이 쓰는 경향이 있고, 그만큼 비용도 조금 더 듭니다.

트랜스포머 — “어디에 주목할까”를 학습하는 구조

2017년 구글 팀이 발표한 Transformer 구조는 LLM의 심장입니다.

핵심 메커니즘은 Self-Attention — 문장 안에서 “이 단어를 이해하려면 다른 어떤 단어에 주목해야 하지?”를 스스로 학습합니다.

“강아지가 공을 ___” → “물었다”를 맞히려면 “강아지”와 “공”에 주목해야 함

이 “주목”의 가중치를 학습하는 게 트랜스포머의 본질이에요.

다음 토큰 예측이 어디까지 갈까

놀라운 점은, 이 단순한 목표가 결국 지식, 추론, 코딩 같은 복잡한 능력을 만들어냈다는 겁니다.

“다음 토큰을 잘 맞히려면” = “세계를 잘 이해해야 한다”

스케일이 커질수록 이 등식이 진짜가 됐고, 지금의 LLM이 있게 됐습니다.

정리

• LLM은 다음 토큰을 맞히는 모델이다.
• 데이터 · 컴퓨팅 · 트랜스포머 구조가 만나 폭발적으로 성장했다.
• 토큰은 LLM이 텍스트를 다루는 기본 단위다.
• 트랜스포머는 “어디에 주목할까”를 학습한다.

다음 글에서는 이 LLM을 직접 만들어 보는 입문 실습을 해보겠습니다.