model-serving

로컬 LLM 운영 — GGUF · 양자화 · VRAM 산정과 도입 판단

로컬 LLM은 싸게 하려고 쓰는 것이 아니다. GGUF 형식과 양자화 등급, VRAM 산정 공식, Ollama 운영, 그리고 온프레미스 도입을 판단하는 기준을 정리한다.