AI 용어 사전 ④: 컨텍스트 윈도우 — AI가 한 번에 기억하는 양

"어제 보낸 파일 기억해?" AI: "...무슨 파일이요?"

AI도 기억력이 있습니다. 한 번에 기억할 수 있는 양 = 컨텍스트 윈도우(Context Window).

한 줄 정의

컨텍스트 윈도우(Context Window) = AI가 한 번 대화에서 기억할 수 있는 글의 양 (토큰 기준).

이 한도를 넘으면 앞부분을 잊어버리거나 잘려나갑니다.

🍞 쉽게 말하면

책상 크기 같은 겁니다.

• 책상 = AI 머리
• 책상에 올려둘 수 있는 서류 양 = 컨텍스트 윈도우
• 서류 너무 많이 쌓이면 → 떨어진 건 못 봅니다 (= AI가 잊어버림)

큰 책상(100만 토큰)이면 책 1권 통째로 올려놓고 분석할 수 있고, 작은 책상(2,000 토큰)이면 메모지 몇 장만 올려놓을 수 있습니다.

주요 LLM 컨텍스트 윈도우 (2026년 6월)

💡 5년 전엔 2,000 토큰이 한계였습니다. 지금은 100만. 책 1권을 통째로 AI에게 넘기고 "요약해줘", "이 책에서 ○○ 인물 등장 장면만 뽑아줘" 가능한 시대.

💼 실무 예시: 컨텍스트가 부족하면 일어나는 일

잘못된 사용 (옛 AI 사고방식)

대표님: "어제 회의 내용 알려줘"
AI: "어제 무슨 회의요? 저는 어제 무슨 일이 있었는지 기억 못 합니다."
대표님: 😩

→ AI는 "어제 대화"를 기억하지 못합니다. 새 대화 시작하면 이전 대화는 사라집니다.

올바른 사용 (컨텍스트 윈도우 활용)

대표님: "다음은 어제 회의 메모입니다.
[회의 메모 전체 붙여넣기]
이 메모에서 결정된 사항 3개, 액션 아이템 5개로 정리해줘."

→ 메모를 같이 보내면 AI는 그 안에서 정리합니다. 이게 컨텍스트 윈도우 활용입니다.

컨텍스트 윈도우 잘 쓰는 법

자주 묻는 질문

Q. 1M 토큰이면 진짜 책 1권 통째로 가능한가요? A. 네, 영어 책 약 1,5002,000페이지. 한국어는 토큰 더 먹어서 500700페이지 정도.

Q. 그럼 GPT-5(20만)보다 Claude(100만)가 무조건 좋은가요? A. 컨텍스트만 보면 그렇지만, 다른 능력(코딩·창의력·속도)이 다릅니다. 긴 문서 분석은 Claude/Gemini, 일반 대화는 어느 거든 OK.

Q. 컨텍스트 다 차면 어떻게 돼요? A. 최신 메시지는 받지만 오래된 부분부터 자동으로 잊습니다. 그래서 긴 대화 후 "맨 처음 내가 뭐라고 했지?" 물어보면 못 맞히기도 합니다.

🔗 관련 용어

• 토큰 — 컨텍스트 윈도우의 단위
• LLM — 컨텍스트 윈도우 한도를 가진 본체
• 프롬프트 — 컨텍스트 안에 들어가는 우리 입력
• 할루시네이션 — 컨텍스트 한도 임박 시 더 자주 발생

💡 요약: 컨텍스트 윈도우 = AI의 책상 크기. 큰 책상 모델(Claude·Gemini 1M)을 쓰면 책·보고서 통째로 분석 시키는 신세계가 열립니다.