Gemma 4 12B, 초안 모델 결합 실험서 초당 평균 75토큰→179토큰
핵심 요약
- XDA 필자가 VRAM 8GB 노트북에서 로컬 AI 설정을 조정해 추론 속도를 높인 경험을 소개했다. MoE 모델의 전문가를 시스템 메모리로 옮기자 처리 속도가 약 8배로 높아졌다.
로컬 AI 모델의 추론 속도는 그래픽 메모리(VRAM) 용량뿐 아니라 모델 실행 설정에 따라서도 크게 달라질 수 있다. XDA-developers 필자는 전문가 오프로딩과 추측 디코딩을 활용해 자신의 PC에서 대형 언어 모델의 처리 속도를 높인 경험을 소개했다.
가장 큰 변화 중 하나는 혼합 전문가(MoE) 모델인 Qwen3.6-35B-A3B 실험에서 나타났다. 필자가 사용한 레노버(Lenovo) Legion 5 Pro는 모바일 RTX 3070 GPU의 VRAM 8GB와 DDR4-3200 시스템 메모리 32GB를 갖췄다. 이 환경에서 UD-IQ4_XS 양자화 모델은 전문가 오프로딩을 하지 않았을 때 초당 4.02토큰을 처리했지만, llama.cpp의 –n-cpu-moe 값을 28로 설정하자 초당 32.82토큰으로 약 8배 빨라졌다.
MoE 모델은 가중치 대부분을 여러 전문가에 나눠 저장하고, 토큰 하나를 처리할 때는 일부 전문가만 사용한다. 필자는 이 구조를 활용해 전문가를 VRAM에서 시스템 메모리로 옮겼다. –n-cpu-moe는 지정한 수의 계층에서 전문가를 옮기고 나머지 모델은 VRAM에 유지한다. 원문에 따르면 LM Studio에는 이 오프로딩을 조절하는 전용 슬라이더가 있지만, Ollama는 현재 해당 설정을 제공하지 않는다.
Gemma 4 12B와 같은 밀집 모델에는 다른 방법을 썼다. 밀집 모델은 처리할 때마다 모든 가중치를 사용하므로, MoE처럼 쉬고 있는 부분을 시스템 메모리에 옮기는 방식으로 대응하기 어렵다. Qwen3.6-35B-A3B나 Gemma 4 26B-A4B에서 전문가 계층 오프로딩으로 속도를 높이는 것과는 차이가 있다.
밀집 모델에 적용한 추측 디코딩은 작은 초안 모델이 다음 토큰 여러 개를 먼저 생성하고, 목표 모델이 이를 한꺼번에 검토하는 방식이다. 목표 모델은 자신이 생성했을 토큰과 일치하는 부분을 받아들이고, 처음 거부한 토큰부터 생성을 이어간다. Gemma 4는 이 방식을 다중 토큰 예측(MTP)이라고 부르며, 구글(Google)은 이에 맞는 초안 모델을 제공한다.
필자는 언슬로스(Unsloth)의 Gemma 4 12B QAT 빌드에 242MB MTP 초안 모델을 결합하고 컨텍스트를 32K로 설정했다. 동일한 모델과 샘플러 설정에서 초안 모델을 사용하면 초당 평균 179토큰, 사용하지 않으면 초당 평균 75토큰을 처리했다. 다만 초안 모델도 VRAM을 사용하므로 수백 MB의 추가 여유를 고려해야 한다고 설명했다.
이 같은 조정을 위해 필자는 llama.cpp를 직접 사용한다. Ollama와 LM Studio도 llama.cpp를 추론 엔진으로 쓰지만, 필자가 활용하는 설정 플래그 중 일부는 설정 안에 묻혀 있거나 아예 제공되지 않는다는 이유에서다. 두 도구는 그래픽 사용자 인터페이스로 모델을 쉽게 불러와 대화할 수 있게 해주는 대신, GPU와 시스템 메모리 사이의 모델 배분, 컨텍스트에 할당할 메모리, 최적화 기능의 적용 여부 등을 상당 부분 결정한다.
로컬 AI는 클라우드 서비스의 월 구독료와 주간 사용 한도, 민감한 정보를 외부 서버에 맡기는 문제를 피하려는 이용자에게 매력적이다. 필자는 느린 실행 속도를 하드웨어 부족이나 로컬 모델의 비효율 탓으로만 보기보다 설정을 점검할 필요가 있다고 봤다. 전문가 오프로딩과 초안 모델 외에도 KV 캐시 양자화, 컨텍스트 크기 조정, 적절한 양자화 선택에 추가 최적화 여지가 있다고 소개했다.
