AI도구

그래픽카드 PC로 로컬 AI, VRAM 8·12·16·24·32GB별로 뭘 돌릴 수 있나

2026-10-23 · 1분 읽기

로컬 AI를 제대로 돌려보고 싶어서 그래픽카드를 알아보면 처음엔 성능 순위표부터 보게 됩니다. 그런데 AI용으로는 그 순위가 잘 안 맞습니다. 게임에서 빠른 카드가 AI에서도 무조건 좋은 건 아니거든요. AI에서 첫 번째 기준은 그래픽카드 메모리(VRAM) 용량입니다.

내 그래픽카드를 고르면 바로 결과가 나오는 내 PC AI 계산기도 같이 보시면 좋습니다.

핵심만 먼저 정리했어요

모델이 그래픽카드 메모리에 다 들어가야 빠릅니다. 넘치면 일부를 램으로 넘겨 돌릴 수 있지만 크게 느려집니다.
용량이 같다면 그다음은 메모리 대역폭입니다. 대역폭이 높을수록 답이 빨리 나옵니다.
이미지 생성까지 생각한다면 엔비디아 그래픽카드가 지금 가장 무난한 선택입니다. 자료와 도구가 가장 많습니다.

VRAM별로 돌릴 수 있는 AI

VRAM	대화·글쓰기·코딩	이미지 생성	대표 카드
8GB	7B~8B급 소형 모델	SDXL	RTX 4060
12GB	12B~14B급	SDXL, FLUX 계열 압축판	RTX 3060 12GB, 4070, 5070
16GB	14B급, gpt-oss 20B	FLUX.2 klein 등 최신 경량 모델	RTX 4060 Ti 16GB, 5060 Ti 16GB, 4080, 5080
24GB	27B~32B급 (Qwen3.6 27B 등)	FLUX·Qwen-Image 계열 대부분	RTX 4090
32GB	32B급을 여유 있게, 더 긴 대화	대형 이미지 모델 원본급	RTX 5090

모델 크기는 4비트 압축 기준입니다. “27B”는 파라미터가 270억 개라는 뜻이고, 4비트로 압축하면 대략 17GB 정도를 차지합니다. 대화가 길어지면 1~3GB가 더 필요합니다.

같은 16GB인데 왜 속도가 다를까

같은 16GB라도 RTX 4060 Ti와 RTX 5080은 답이 나오는 속도가 크게 다릅니다. 이유는 메모리 대역폭입니다. AI가 글자 하나를 만들 때마다 모델 전체를 메모리에서 한 번 읽어 오는데, 이 읽는 속도가 곧 생성 속도가 됩니다.

카드	VRAM	메모리 대역폭(초당)
RTX 4060 Ti 16GB	16GB	약 288GB
RTX 5060 Ti 16GB	16GB	약 448GB
RTX 4080	16GB	약 717GB
RTX 5080	16GB	약 960GB
RTX 4090	24GB	약 1,008GB
RTX 5090	32GB	약 1,792GB

그래서 순서는 이렇게 생각하면 됩니다. 먼저 원하는 모델이 들어갈 용량을 정하고, 그 용량 안에서 대역폭이 높은 카드를 고른다.

메모리가 모자라면: 램으로 넘기기

모델이 그래픽카드 메모리보다 크면, 남는 부분을 컴퓨터 램으로 넘겨서 돌릴 수 있습니다. 올라마(Ollama) 같은 프로그램은 이걸 자동으로 해줍니다. 다만 램은 그래픽 메모리보다 훨씬 느려서, 넘어간 비율만큼 속도가 뚝 떨어집니다. 저는 그래픽카드 없는 미니PC(램 76GB)에서 27B 모델을 돌리는데, 초당 2.6토큰이 나옵니다. 그래픽카드 24GB에 다 들어가면 같은 모델이 그보다 열 배 넘게 빠릅니다.

예외가 하나 있습니다. MoE 모델은 한 번에 일부 파라미터만 쓰기 때문에 램으로 넘겨도 생각보다 빠릅니다. gpt-oss 20B나 Qwen3.6 35B-A3B 같은 모델이 그렇습니다.

어떤 카드가 맞나: 상황별

일단 체험해 보고 싶다: 지금 가진 카드로 시작하세요. 8GB면 소형 모델과 SDXL 이미지까지 됩니다.
글쓰기·요약을 매일 맡기고 싶다: 16GB부터 쾌적합니다. 대역폭이 높은 쪽을 고르면 체감이 확 달라집니다.
코딩까지 로컬로: 24GB가 실용권의 시작입니다. 27B~32B급 코딩 모델이 한 장에 들어갑니다.
이미지 생성 위주: 16GB 이상, 가능하면 24GB. 최신 이미지 모델은 원본 그대로 24GB 안팎을 씁니다.
100B급 대형 모델이 목표: 그래픽카드 한 장으로는 어렵습니다. 통합 메모리 128GB의 AI 미니PC나 메모리 넉넉한 맥이 더 맞습니다. AI 미니PC 비교 글에서 자세히 다뤘습니다.