llm-serving

GPU로 LLM을 서빙한다는 것 — 백엔드 개발자를 위한 추론 서빙의 원리

> GPU·CUDA·MPS 기초 — 자바 백엔드 개발자가 처음 만나는 그림을 먼저 읽으면 GPU 자체의 그림이 잡힌다. 이 글은 그 위에서 "LLM을 서빙하면 왜 어렵고, 그 어려움이 어디서 오는가"를 다룬다. 나는 AI 서비스 백엔드를 하지만, GPU 위에서 LLM이 실제로 어떻게 도는지는 오래 블랙박스였다. 모델 팀이 만든 걸 API로 감싸 안정적으로...

배칭과 GPU 활용률 — batch 1이 GPU를 놀리는 이유부터 continuous batching까지

> GPU로 LLM을 서빙한다는 것을 먼저 읽으면 이 글이 훨씬 쉽다. 거기서 유도한 "decode는 memory-bandwidth bound"라는 결론을 전제로 깔고 시작한다. 앞 글에서 이런 수치를 봤다. Llama 70B를 H100에서 요청 하나씩(batch 1) 디코딩하면, 텐서코어 활용률이 약 0.34%다. 989 TFLOP/s짜리 연산 유닛의 9...