fos-blog/study
01 / 홈02 / 카테고리03 / 시리즈
01 / 홈02 / 카테고리03 / 시리즈

카테고리

  • AI 페이지로 이동
    • RAG 페이지로 이동
    • agent 페이지로 이동
    • claude-code 페이지로 이동
    • harness 페이지로 이동
    • llm 페이지로 이동
    • ops 페이지로 이동
    • practice 페이지로 이동
  • algorithm 페이지로 이동
    • Alias Method: 가중치 랜덤 선택을 전처리 O(n), 추출 O(1)로 바꾸기
    • Welford's Online Algorithm: 값을 저장하지 않고 평균과 분산 계산하기
  • architecture 페이지로 이동
    • distributed-systems 페이지로 이동
    • domain 페이지로 이동
    • evolution 페이지로 이동
    • patterns 페이지로 이동
  • database 페이지로 이동
    • milvus 페이지로 이동
    • mysql 페이지로 이동
    • opensearch 페이지로 이동
    • postgresql 페이지로 이동
    • qdrant 페이지로 이동
    • redis 페이지로 이동
    • vespa 페이지로 이동
    • DB Connection Pool Saturation과 Thread Pool 격리
    • 커넥션 풀 크기는 얼마나 조정해야 할까?
    • gaps and islands: SQL 창 함수로 이어진 구간 찾기
    • MyBatis 기본기 — XML Mapper, resultMap, 동적 SQL, 운영 패턴 정리
    • MyBatis와 JPA/Hibernate 트레이드오프 — 레거시 백엔드를 다루는 시니어 관점
    • 한국어 형태소 분석기 Nori vs Lindera — OpenSearch에서 Milvus로 갈 때 어휘 검색은 유지되나
    • 정규화와 역정규화: 무결성과 조회 비용 사이의 선택
    • 벡터 DB 5종, 아키텍처는 어떻게 다른가
    • 벡터 DB 5종을 실제로 벤치마크했다 — 같은 recall에서 QPS는 얼마나 갈리나
    • 벡터 DB 어떻게 고를까 — OpenSearch · Milvus · Qdrant · Vespa · pgvector 비교
    • 벡터 DB를 실제로 도입한 사례 — 빅테크 프로덕션
  • devops 페이지로 이동
    • docker 페이지로 이동
    • k8s 페이지로 이동
    • Envoy Proxy
    • Graceful Shutdown
    • 종료 신호는 어디서 멈추는가
  • http 페이지로 이동
    • HTTP Connection Pool
    • HTTPS와 TLS: 핸드셰이크, 인증서, 종료 지점
  • java 페이지로 이동
    • concurrency 페이지로 이동
    • jdbc 페이지로 이동
    • spring 페이지로 이동
    • spring-batch 페이지로 이동
    • testing 페이지로 이동
    • Alpine 이미지의 Java 에서 링크 바꿔치기(TOCTOU)를 막지 못하는 이유
    • Java 동시성 락 정리 — 커머스 메뉴/프로모션 정책 캐시 갱신 관점
    • JVM 튜닝 실전: 메모리 구조부터 Virtual Threads, GC 튜닝, 프로파일링까지
    • 로그에 traceId 남기기 — MDC 부터 OpenTelemetry 까지
    • Java StampedLock — 읽기 폭주에도 쓰기가 밀리지 않는 락
    • Virtual Thread와 Project Loom
  • javascript 페이지로 이동
    • typescript 페이지로 이동
    • AbortController
    • Async Iterator와 제너레이터
    • CommonJS와 ECMAScript Modules
    • 제너레이터(Generator)
    • Http Client
    • Node 백엔드 운영 패턴 — Streams 백프레셔, pipe/pipeline, 멱등성 vs 분산 락
    • Node.js
    • `setImmediate()`
  • kafka 페이지로 이동
    • Kafka 클러스터 아키텍처: Broker, KRaft Controller와 복제
    • Kafka 기본 개념: Topic, Partition, Offset과 Segment
    • Kafka 실전 설계: 파티션 전략, 컨슈머 그룹, 전달 보장, 재시도, 순서 보장 트레이드오프
    • Kafka 파티션·리밸런스·컨슈머 지연 운영
    • Kafka를 로그로 이해하기: 복제, 재처리, 상태와 데이터 통합
    • Spring Kafka 컨슈머 오프셋 커밋과 트랜잭션 정렬: AckMode, manual ack, 멱등 처리
  • linux 페이지로 이동
    • fsync — 리눅스 파일 동기화 시스템 콜
    • SSH forced command 로 배포 키가 실행할 수 있는 명령 제한하기
  • mlops 페이지로 이동
    • llm-serving 페이지로 이동
    • model-router 페이지로 이동
    • Python CUDA 버전 생태계 — nvidia-smi, nvcc, pip, conda가 다 다른 버전을 말하는 이유
    • GPU 컨테이너의 CUDA 버전 호환성 — nvidia-smi부터 이미지 다이어트까지
    • Kubernetes GPU 노드에서 /run tmpfs가 꽉 차서 Pod가 안 뜰 때
    • GPU·CUDA·MPS 기초 — 자바 백엔드 개발자가 처음 만나는 그림
    • Multi-process GPU 워크로드 — 자바 ThreadPool 사용자가 만나는 모델 차이
    • ML 서비스 성능 분석 워크플로 — 자바 백엔드 트러블슈팅과 다른 점
    • 한 GPU 를 여러 프로세스가 나눠 쓰기 — Time-Slicing 과 MPS
  • network 페이지로 이동
    • Connection reset by peer는 누가 보낸 걸까 — 리버스 프록시 홉마다 TCP 연결은 따로 논다
    • L2(스위치)와 L3(라우터)의 역할 차이
    • L4와 VIP(Virtual IP Address)
    • IP Subnet
  • observability 페이지로 이동
    • Observability 입문: 시니어 백엔드가 장애를 탐지하고 대응하는 방식
    • K8s 위 Spring Boot 앱의 메트릭 수집
  • python 페이지로 이동
    • Python async/await — CompletableFuture·Reactor 와 다른 점, 그리고 blocking I/O 함정
    • Python 의존성 관리 — Java Maven/Gradle 사용자가 만나는 첫 충격
    • FastAPI 기초 — Spring Boot 사용자가 빠르게 익히는 법
    • Java 개발자를 위한 Python 심화 — OOP·데코레이터·컨텍스트 매니저
    • PyTorch 기초 — 텐서, 디바이스, 그리고 모델 로딩이 무거운 이유
    • Java 개발자를 위한 Python 문법 핵심
    • ThreadLocal 에서 contextvars 로 — Python 의 요청 컨텍스트 전파
    • OCR 동작 원리 — Layout · Text · Post-process 3단계
    • Python 서버의 RSS가 줄지 않는 이유: CPython, gc.collect(), malloc_trim
  • rabbitmq 페이지로 이동
    • RabbitMQ Basics — 실전 백엔드 관점에서 정리하는 메시지 브로커 기본기
    • RabbitMQ vs Kafka — 백엔드 메시징 선택 기준과 실전 운영 관점
  • resume 페이지로 이동
    • 경험 및 경력기술서
    • 김병태 경력기술서
    • 김병태 포트폴리오
  • task 페이지로 이동
    • ai-service-team 페이지로 이동
    • nsc-slot 페이지로 이동
    • personal-projects 페이지로 이동
    • sb-dev-team 페이지로 이동
    • the-future-company 페이지로 이동
  • thinking 페이지로 이동
    • 자기주도 학습: 질문에서 시작해 글로 검증하기
    • 좋은 일을 넘어 중요한 일을 하는 법
FOS-BLOG · FOOTERall systems normal·v0.1 · 2026.04.27·seoul, kr
Ffos-blog/study

개발 학습 기록을 정리하는 블로그입니다. 공부하면서 기록하고, 기록하면서 다시 배웁니다.

visitors
01site
  • Home↗
  • Posts↗
  • Categories↗
  • Glossary↗
  • About↗
02policy
  • 소개/about
  • 개인정보처리방침/privacy
  • 연락처/contact
03categories
  • AI↗
  • Algorithm↗
  • DB↗
  • DevOps↗
  • Java/Spring↗
  • JS/TS↗
  • React↗
  • Next.js↗
  • System↗
04connect
  • GitHub@jon890↗
  • Source repositoryjon890/fos-study↗
  • RSS feed/rss.xml↗
  • Newsletter매주 1 회 · 한 편의 글→
© 2026 FOS Study. All posts MIT-licensed.
built with·Next.js·Tailwind v4·Geist·Pretendard·oklch
fos-blog/task/사내 LLM 서버의 추측 토큰 수를 7에서 …
task

사내 LLM 서버의 추측 토큰 수를 7에서 4로 줄인 기록

진행 기간: 2026.11–현재 사내 LLM 서버를 안정화하면서 추측 디코딩 설정을 두 번 바꿨다. 11월 14일에 적응형 검증을 끄고, 11월 16일에 추측 토큰 수(numspeculativetokens)를 7에서 4로 줄였다. 이 글은 두 번째 변경이 무엇을 바꾸는지 사전에 계산하고, 같은 부하 테스트로 확인하는 과정을 적는다. 추측 디코딩과 수락률의...

2026.11.16·4 min read·22 views

진행 기간: 2026.11–현재

사내 LLM 서버를 안정화하면서 추측 디코딩 설정을 두 번 바꿨다. 11월 14일에 적응형 검증을 끄고, 11월 16일에 추측 토큰 수(num_speculative_tokens)를 7에서 4로 줄였다. 이 글은 두 번째 변경이 무엇을 바꾸는지 사전에 계산하고, 같은 부하 테스트로 확인하는 과정을 적는다.

추측 디코딩과 수락률의 일반 개념은 추측 디코딩과 vLLM 적응형 검증에 있다. 이 글은 그 개념을 업무에 적용한 경험만 다룬다.

서버와 상황

  • 서버: vLLM 으로 큰 MoE 모델을 서빙하는 사내 LLM 서버. 작은 초안 모델로 추측 디코딩을 켜 두었다.
  • 하드웨어: B200 급 GPU.
  • 증상: 동시 요청이 몰릴 때 CUDA error: an illegal memory access was encountered 로 엔진이 멈춘 적이 있다. 오류가 비동기로 보고돼 스택이 가리키는 자리는 원인이 아닐 수 있었다.
  • 이미 한 변경: 11월 14일에 적응형 검증을 껐다. 원인이 같다고 확인한 것은 아니고, 공개 이슈에서 안정된 조건이라 먼저 뺐다.

적응형 검증을 끄면 낮은 자리를 빼 주던 장치가 사라진다. 초안 7개를 모두 검증하게 되므로, 고정 추측 토큰 수가 수락률에 맞는지 다시 봐야 했다.

왜 7에서 줄였나

추측 토큰 수가 7일 때 잰 자리별 수락률은 이랬다.

자리그 자리까지 수락된 비율
143.7%
222.0%
311.9%
46.8%
54.3%
62.7%
71.6%

5번째 자리부터는 검증 한 번에 얻는 토큰이 0.05개 안팎이다. 적응형 검증이 꺼져 있으면 이 자리들도 대상 모델의 계산에 들어간다. 동시 요청이 많은 서버에서는 이 계산이 다른 요청의 토큰을 만들 수 있는 연산을 쓴다.

같은 자리별 수락률에서 k만 줄였다고 가정한 계산은 아래와 같다. k를 바꿔 직접 잰 값이 아니고, 초안 모델이 k에 따라 앞 자리를 다르게 쓰면 실제 값은 달라진다.

k한 번에 계산하는 자리 수평균 수락 길이계산한 자리당 얻는 토큰
781.930.24
451.840.37

7에서 4로 줄이면 검증에 쓰는 자리가 8개에서 5개로 37.5% 준다. 검증 한 번에 나오는 평균 토큰은 1.93에서 1.84로 약 5% 준다. 계산만 보면 연산을 3/8 아끼고 한가할 때의 이득은 5%만 내주는 거래다. 이 계산이 맞는지는 아래 부하 테스트로 확인한다.

백엔드에 빗대면 한 번에 보내는 배치 크기를 줄이는 것과 비슷하다. 뒤쪽 건은 앞 건이 모두 성공해야 의미가 있는데 성공 확률은 곱으로 줄어든다. 그 건들을 같이 보내면 성공했을 때의 이득보다 실패했을 때 버리는 비용이 크다.

부하 테스트 조건

같은 조건으로 7과 4를 비교한다.

항목값
동시 요청 수24
총 요청 수72
입력 길이30,000 토큰(요청 사이 공통 15,000)
출력 길이2,048 토큰
바꾼 것추측 토큰 수만. 적응형 검증은 두 테스트 모두 끈 상태

입력 앞부분 15,000 토큰이 공통이라 prefix cache 가 일부 적중하는 부하다. prefill 과 decode 가 섞이는 구간이 있어 실제 운영 트래픽과 가깝지만, 같지는 않다. 수락률은 출력의 성격에 따라 달라지므로 이 테스트의 결과를 다른 트래픽에 그대로 옮기지 않는다.

결과

지표7 (기준)4변화
실패 요청00같음
출력 처리량1,554.3 tok/s1,688.5 tok/s+8.6%
요청당 출력 속도74.5 tok/s81.7 tok/s+9.7%
TTFT p500.52 s0.51 s거의 같음
TPOT p5013.8 ms13.0 ms-5.8%
TPOT p9017.2 ms15.6 ms-9.3%
E2E p5030.5 s28.0 s-8.2%
E2E 최대42.3 s38.3 s-9.5%

수락률은 같은 조건으로 재지 못했다. 7의 누적 수락률과 4의 누적 수락률은 요청 종류와 집계 기간이 달라 서로 비교할 수 없어 결과에 적지 않는다.

TPOT(Time Per Output Token)는 출력 토큰 하나를 만드는 데 걸린 시간이다. E2E 는 요청을 보내고 응답이 끝날 때까지 걸린 시간이다.

7 의 결과는 11월 14일에 적응형 검증을 끄고 같은 조건으로 잰 기준값이다. 4 의 결과는 11월 16일에 같은 조건으로 한 번 잰 값이다. 한 번의 측정이라 변화 폭이 측정 오차 안인지는 확인하지 못했다.

처리량은 올랐고 TPOT 와 E2E 는 줄었으며 실패는 없었다. 이 조건에서는 4를 유지하기로 했다.

배운 판단

  • 자리별 수락률 표를 먼저 보고 후보 값을 계산으로 좁힌 뒤, 같은 부하로 한 번에 하나만 바꿔 확인한다.
  • 이 변경이 오류를 없애는지는 이 테스트로 알 수 없다. 오류 재현 조건과 안정 확인 방법은 별도로 정해야 한다. 추측 토큰 수를 줄이는 것은 처리량과 지연을 정하는 변경이고, 안정화는 적응형 검증을 끈 쪽에서 확인한다.
  • 적응형 검증을 끄면 고정 추측 토큰 수를 직접 맞춰야 한다. 기능이 해 주던 일을 설정값이 대신하는 것이므로, 수락률 지표를 계속 본다.
on this page
  • 01서버와 상황
  • 02왜 7에서 줄였나
  • 03부하 테스트 조건
  • 04결과
  • 05배운 판단
tags
#tasks

이런 글도

  • task

    개인 AI 비서의 문맥 구성과 도구 승인 경계

    2026.10.25
  • task

    에이전트가 탐색하고 실패를 판단할 수 있는 CLI

    2026.10.25
  • task

    AI 돌봄 분석 설계: 온톨로지·센서 요약·개인 메모리를 연결하기

    2026.10.25
  • task

    Document Parser 운영과 개선

    2026.09.03

댓글 (0)