#GPU

GPU로 LLM을 서빙한다는 것 — 백엔드 개발자를 위한 추론 서빙의 원리

> GPU·CUDA·MPS 기초 — 자바 백엔드 개발자가 처음 만나는 그림을 먼저 읽으면 GPU 자체의 그림이 잡힌다. 이 글은 그 위에서 "LLM을 서빙하면 왜 어렵고, 그 어려움이 어디서 오는가"를 다룬다. 나는 AI 서비스 백엔드를 하지만, GPU 위에서 LLM이 실제로 어떻게 도는지는 오래 블랙박스였다. 모델 팀이 만든 걸 API로 감싸 안정적으로...