1 POSTS
> GPU로 LLM을 서빙한다는 것을 먼저 읽으면 이 글이 훨씬 쉽다. 거기서 유도한 "decode는 memory-bandwidth bound"라는 결론을 전제로 깔고 시작한다. 앞 글에서 이런 수치를 봤다. Llama 70B를 H100에서 요청 하나씩(batch 1) 디코딩하면, 텐서코어 활용률이 약 0.34%다. 989 TFLOP/s짜리 연산 유닛의 9...