진행 기간: 2026.11–현재 사내 LLM 서버를 안정화하면서 추측 디코딩 설정을 두 번 바꿨다. 11월 14일에 적응형 검증을 끄고, 11월 16일에 추측 토큰 수(numspeculativetokens)를 7에서 4로 줄였다. 이 글은 두 번째 변경이 무엇을 바꾸는지 사전에 계산하고, 같은 부하 테스트로 확인하는 과정을 적는다. 추측 디코딩과 수락률의...
진행 기간: 2026.11–현재
사내 LLM 서버를 안정화하면서 추측 디코딩 설정을 두 번 바꿨다.
11월 14일에 적응형 검증을 끄고, 11월 16일에 추측 토큰 수(num_speculative_tokens)를 7에서 4로 줄였다.
이 글은 두 번째 변경이 무엇을 바꾸는지 사전에 계산하고, 같은 부하 테스트로 확인하는 과정을 적는다.
추측 디코딩과 수락률의 일반 개념은 추측 디코딩과 vLLM 적응형 검증에 있다. 이 글은 그 개념을 업무에 적용한 경험만 다룬다.
CUDA error: an illegal memory access was encountered 로 엔진이 멈춘 적이 있다. 오류가 비동기로 보고돼 스택이 가리키는 자리는 원인이 아닐 수 있었다.적응형 검증을 끄면 낮은 자리를 빼 주던 장치가 사라진다. 초안 7개를 모두 검증하게 되므로, 고정 추측 토큰 수가 수락률에 맞는지 다시 봐야 했다.
추측 토큰 수가 7일 때 잰 자리별 수락률은 이랬다.
| 자리 | 그 자리까지 수락된 비율 |
|---|---|
| 1 | 43.7% |
| 2 | 22.0% |
| 3 | 11.9% |
| 4 | 6.8% |
| 5 | 4.3% |
| 6 | 2.7% |
| 7 | 1.6% |
5번째 자리부터는 검증 한 번에 얻는 토큰이 0.05개 안팎이다. 적응형 검증이 꺼져 있으면 이 자리들도 대상 모델의 계산에 들어간다. 동시 요청이 많은 서버에서는 이 계산이 다른 요청의 토큰을 만들 수 있는 연산을 쓴다.
같은 자리별 수락률에서 k만 줄였다고 가정한 계산은 아래와 같다. k를 바꿔 직접 잰 값이 아니고, 초안 모델이 k에 따라 앞 자리를 다르게 쓰면 실제 값은 달라진다.
| k | 한 번에 계산하는 자리 수 | 평균 수락 길이 | 계산한 자리당 얻는 토큰 |
|---|---|---|---|
| 7 | 8 | 1.93 | 0.24 |
| 4 | 5 | 1.84 | 0.37 |
7에서 4로 줄이면 검증에 쓰는 자리가 8개에서 5개로 37.5% 준다. 검증 한 번에 나오는 평균 토큰은 1.93에서 1.84로 약 5% 준다. 계산만 보면 연산을 3/8 아끼고 한가할 때의 이득은 5%만 내주는 거래다. 이 계산이 맞는지는 아래 부하 테스트로 확인한다.
백엔드에 빗대면 한 번에 보내는 배치 크기를 줄이는 것과 비슷하다. 뒤쪽 건은 앞 건이 모두 성공해야 의미가 있는데 성공 확률은 곱으로 줄어든다. 그 건들을 같이 보내면 성공했을 때의 이득보다 실패했을 때 버리는 비용이 크다.
같은 조건으로 7과 4를 비교한다.
| 항목 | 값 |
|---|---|
| 동시 요청 수 | 24 |
| 총 요청 수 | 72 |
| 입력 길이 | 30,000 토큰(요청 사이 공통 15,000) |
| 출력 길이 | 2,048 토큰 |
| 바꾼 것 | 추측 토큰 수만. 적응형 검증은 두 테스트 모두 끈 상태 |
입력 앞부분 15,000 토큰이 공통이라 prefix cache 가 일부 적중하는 부하다. prefill 과 decode 가 섞이는 구간이 있어 실제 운영 트래픽과 가깝지만, 같지는 않다. 수락률은 출력의 성격에 따라 달라지므로 이 테스트의 결과를 다른 트래픽에 그대로 옮기지 않는다.
| 지표 | 7 (기준) | 4 | 변화 |
|---|---|---|---|
| 실패 요청 | 0 | 0 | 같음 |
| 출력 처리량 | 1,554.3 tok/s | 1,688.5 tok/s | +8.6% |
| 요청당 출력 속도 | 74.5 tok/s | 81.7 tok/s | +9.7% |
| TTFT p50 | 0.52 s | 0.51 s | 거의 같음 |
| TPOT p50 | 13.8 ms | 13.0 ms | -5.8% |
| TPOT p90 | 17.2 ms | 15.6 ms | -9.3% |
| E2E p50 | 30.5 s | 28.0 s | -8.2% |
| E2E 최대 | 42.3 s | 38.3 s | -9.5% |
수락률은 같은 조건으로 재지 못했다. 7의 누적 수락률과 4의 누적 수락률은 요청 종류와 집계 기간이 달라 서로 비교할 수 없어 결과에 적지 않는다.
TPOT(Time Per Output Token)는 출력 토큰 하나를 만드는 데 걸린 시간이다. E2E 는 요청을 보내고 응답이 끝날 때까지 걸린 시간이다.
7 의 결과는 11월 14일에 적응형 검증을 끄고 같은 조건으로 잰 기준값이다. 4 의 결과는 11월 16일에 같은 조건으로 한 번 잰 값이다. 한 번의 측정이라 변화 폭이 측정 오차 안인지는 확인하지 못했다.
처리량은 올랐고 TPOT 와 E2E 는 줄었으며 실패는 없었다. 이 조건에서는 4를 유지하기로 했다.