fos-blog/study
01 / 홈02 / 카테고리
01 / 홈02 / 카테고리

카테고리

  • AI 페이지로 이동
    • RAG 페이지로 이동
    • langgraph 페이지로 이동
    • agents.md
    • BMAD Method — AI 에이전트로 애자일 개발하는 방법론
    • Claude Code의 Skill 시스템 - 개발자를 위한 AI 자동화의 새로운 차원
    • Claude Code를 5주 더 쓴 결과 — 스킬·CLAUDE.md를 키워가는 방식
    • Claude Code를 11일 동안 쓴 결과 — 데이터로 본 나의 사용 패턴
    • Claude Code 멀티 에이전트 — Teams
    • AI 에이전트와 디자인의 새 컨벤션 — DESIGN.md, Google Stitch, Claude Design
    • 하네스 엔지니어링 실전 — 4인 에이전트 팀으로 코딩 파이프라인 구축하기
    • 하네스 엔지니어링 — 오래 실행되는 AI 에이전트를 위한 설계
    • 멀티모달 LLM (Multimodal Large Language Model)
    • AI 에이전트와 함께 MVP 만들기 — dooray-cli 사례
  • ai 페이지로 이동
    • agent 페이지로 이동
  • algorithm 페이지로 이동
    • live-coding 페이지로 이동
    • 분산 계산을 위한 알고리즘
  • architecture 페이지로 이동
    • [초안] 시니어 백엔드를 위한 API 설계 실전 스터디 팩 — REST · 멱등성 · 페이지네이션 · 버전 전략
    • [초안] API Versioning과 Backward Compatibility: 시니어 백엔드 관점 정리
    • 캐시 설계 전략 총정리
    • [초안] CJ푸드빌 커머스/F&B 도메인 설계 면접 대비 — 슬롯 경험을 주문·결제·쿠폰·매장 상태 설계로 번역하기
    • [초안] 커머스 Spring 서비스에 Clean/Hexagonal Architecture를 실용적으로 적용하기
    • [초안] 커머스 주문 상태와 데이터 정합성 기본기 — CJ푸드빌 면접 대비
    • [초안] 쿠폰/프로모션 동시성과 정합성 기본기 — 선착순·중복 사용 방지·발급/사용/복구
    • [초안] DDD와 도메인 모델링: 시니어 백엔드 관점의 전술/전략 패턴 실전 가이드
    • [초안] Decorator & Chain of Responsibility — 행동을 체인으로 조립하는 두 가지 방식
    • 디자인 패턴
    • [초안] 분산 아키텍처 완전 정복: Java 백엔드 시니어 인터뷰 대비 실전 가이드
    • [초안] 분산 트랜잭션과 Outbox 패턴 — 왜 2PC를 피하고 어떻게 대신할 것인가
    • 분산 트랜잭션
    • [초안] e-Commerce 주문·결제 도메인 모델링: 상태머신, 멱등성, Outbox/Saga 실전 정리
    • [초안] F&B 쿠폰·프로모션·멤버십·포인트 설계
    • [초안] F&B · e-Commerce 디지털 채널 도메인 한 장 정리 — CJ푸드빌 디지털 채널 백엔드 면접 대비
    • [초안] F&B 주문/매장/픽업 상태머신 설계 — CJ푸드빌 디지털 채널 백엔드 관점
    • [초안] F&B 이커머스 결제·환불·정산 운영 가이드
    • [초안] Hexagonal / Clean Architecture를 Spring 백엔드에 적용하기
    • [초안] 대규모 커머스 트래픽 처리 패턴 — 1,600만 고객과 올영세일을 버티는 설계
    • [초안] 레거시 JSP/jQuery 화면과 신규 API가 공존하는 백엔드 운영 전략
    • [초안] MSA 서비스 간 통신: Redis [Cache-Aside](../database/redis/cache-aside.md) × Kafka 이벤트 하이브리드 설계
    • [초안] Observability 입문: 시니어 백엔드가 장애를 탐지하고 대응하는 방식
    • [초안] Outbox / Inbox Pattern 심화 — 분산 메시징의 정합성 문제를 DB 트랜잭션으로 풀어내기
    • [초안] 결제 도메인 멱등성과 트랜잭션 재시도 기본기
    • [초안] 시니어 백엔드를 위한 Resilience 패턴 실전 가이드 — Timeout, Retry, Circuit Breaker, Bulkhead, Backpressure
    • [초안] REST API 버저닝과 모바일 앱 하위 호환성 — CJ푸드빌 디지털 채널 백엔드 관점
    • [초안] Strategy Pattern — 분기문을 없애는 설계, 시니어 백엔드 인터뷰 핵심 패턴
    • [초안] 시니어 백엔드를 위한 시스템 설계 입문 스터디 팩
    • [초안] 템플릿 메서드 패턴 - 백엔드 처리 골격을 강제하는 가장 오래되고 가장 위험한 패턴
    • [초안] 대규모 트래픽 중 무중단 마이그레이션 — Feature Flag + Shadow Mode 실전
  • database 페이지로 이동
    • mysql 페이지로 이동
    • opensearch 페이지로 이동
    • redis 페이지로 이동
    • 김영한의-실전-데이터베이스-설계 페이지로 이동
    • 커넥션 풀 크기는 얼마나 조정해야 할까?
    • 인덱스 - DB 성능 최적화의 핵심
    • [초안] JPA N+1과 커머스 조회 모델: 주문/메뉴/쿠폰 도메인에서 살아남기
    • [초안] MyBatis 기본기 — XML Mapper, resultMap, 동적 SQL, 운영 패턴 정리
    • [초안] MyBatis와 JPA/Hibernate 트레이드오프 — 레거시 백엔드를 다루는 시니어 관점
    • 역정규화 (Denormalization)
    • 데이터 베이스 정규화
  • devops 페이지로 이동
    • docker 페이지로 이동
    • k8s 페이지로 이동
    • k8s-in-action 페이지로 이동
    • observability 페이지로 이동
    • [초안] 커머스/F&B 채널 장애 첫 5분과 관측성 기본기
    • Envoy Proxy
    • [초안] F&B / e-Commerce 운영 장애 대응과 모니터링 — 백엔드 관점 정리
    • Graceful Shutdown
  • finance 페이지로 이동
    • industry-cycle 페이지로 이동
    • investing 페이지로 이동
    • stock-notes 페이지로 이동
  • http 페이지로 이동
    • HTTP Connection Pool
  • interview 페이지로 이동
    • [초안] AI 서비스 팀 경험 기반 시니어 백엔드 면접 질문 뱅크 — Spring Batch RAG / gRPC graceful shutdown / 전략 패턴 / 12일 AI 웹툰 MVP
    • [초안] CJ푸드빌 디지털 채널 Back-end 개발자 직무 분석
    • [초안] CJ푸드빌 디지털 채널 Back-end 면접 답변집 — 슬롯 도메인 경험을 커머스/F&B 설계로 번역하기
    • [초안] F&B / e-Commerce 운영 모니터링과 장애 대응 인터뷰 정리
    • Observability — 면접 답변 프레임
    • [초안] 시니어 Java 백엔드 면접 마스터 플레이북 — 김병태
    • [초안] NSC 슬롯팀 경험 기반 질문 은행 — 도메인 모델링·동시성·성능·AI 협업
  • java 페이지로 이동
    • concurrency 페이지로 이동
    • jdbc 페이지로 이동
    • opentelemetry 페이지로 이동
    • spring 페이지로 이동
    • spring-batch 페이지로 이동
    • 더_자바_코드를_조작하는_다양한_방법 페이지로 이동
    • [초안] Java 동시성 락 정리 — 커머스 메뉴/프로모션 정책 캐시 갱신 관점
    • [초안] JVM 튜닝 실전: 메모리 구조부터 Virtual Threads, GC 튜닝, 프로파일링까지
    • Java의 로깅 환경
    • MDC (Mapped Diagnostic Context)
    • Java StampedLock — 읽기 폭주에도 쓰기가 밀리지 않는 락
    • Virtual Thread와 Project Loom
  • javascript 페이지로 이동
    • typescript 페이지로 이동
    • AbortController
    • Async Iterator와 제너레이터
    • CommonJS와 ECMAScript Modules
    • 제너레이터(Generator)
    • Http Client
    • Node 백엔드 운영 패턴 — Streams 백프레셔, pipe/pipeline, 멱등성 vs 분산 락
    • Node.js
    • npm vs pnpm — 어떤 기준으로 선택했나
    • `setImmediate()`
  • kafka 페이지로 이동
    • [초안] Kafka 기본 개념 — 토픽, 파티션, 오프셋, 복제
    • Kafka를 사용하여 **데이터 정합성**은 어떻게 유지해야 할까?
    • [초안] Kafka 실전 설계: 파티션 전략, 컨슈머 그룹, 전달 보장, 재시도, 순서 보장 트레이드오프
    • 메시지 전송 신뢰성
  • linux 페이지로 이동
    • fsync — 리눅스 파일 동기화 시스템 콜
    • tmux — Terminal Multiplexer
  • network 페이지로 이동
    • L2(스위치)와 L3(라우터)의 역할 차이
    • L4와 VIP(Virtual IP Address)
    • IP Subnet
  • rabbitmq 페이지로 이동
    • [초안] RabbitMQ Basics — 실전 백엔드 관점에서 정리하는 메시지 브로커 기본기
    • [초안] RabbitMQ vs Kafka — 백엔드 메시징 선택 기준과 실전 운영 관점
  • security 페이지로 이동
    • [초안] 시니어 백엔드를 위한 보안 / 인증 스터디 팩 — Spring Security, JWT, OAuth2, OWASP Top 10
  • task 페이지로 이동
    • ai-service-team 페이지로 이동
    • nsc-slot 페이지로 이동
    • sb-dev-team 페이지로 이동
    • the-future-company 페이지로 이동
  • testing 페이지로 이동
    • [초안] 시니어 Java 백엔드를 위한 테스트 전략 완전 정리 — 피라미드부터 TestContainers, 마이크로벤치, Contract까지
  • travel 페이지로 이동
    • 오사카 3박 4일 일정표: 우메다 쇼핑, USJ, 난바·도톤보리, 오사카성
  • web 페이지로 이동
    • [초안] HTTP / Cookie / Session / Token 인증 기본기 — 레거시 JSP와 모바일 API가 공존하는 백엔드 관점
FOS-BLOG · FOOTERall systems normal·v0.1 · 2026.04.27·seoul, kr
Ffos-blog/study

개발 학습 기록을 정리하는 블로그입니다. 공부하면서 기록하고, 기록하면서 다시 배웁니다.

visitors
01site
  • Home↗
  • Posts↗
  • Categories↗
  • About↗
02policy
  • 소개/about
  • 개인정보처리방침/privacy
  • 연락처/contact
03categories
  • AI↗
  • Algorithm↗
  • DB↗
  • DevOps↗
  • Java/Spring↗
  • JS/TS↗
  • React↗
  • Next.js↗
  • System↗
04connect
  • GitHub@jon890↗
  • Source repositoryjon890/fos-study↗
  • RSS feed/rss.xml↗
  • Newsletter매주 1 회 · 한 편의 글→
© 2026 FOS Study. All posts MIT-licensed.
built with·Next.js·Tailwind v4·Geist·Pretendard·oklch
fos-blog/task/시뮬레이터 OOM — Welford's On…
system

시뮬레이터 OOM — Welford's Online Algorithm으로 교체

진행 기간: 2025.02 --- 시뮬레이터는 슬롯 게임의 RTP(Return To Player)와 변동성 지수를 검증하는 도구다. 1억 스핀을 돌려서 기댓값과 분산이 수학적으로 맞게 나오는지 확인한다. 변동성 지수(Volatility Index)를 구하려면 분산이 필요하다. 분산을 구하는 가장 직관적인 방법은 모든 스핀의 당첨금을 다 모아두고 나중에 한꺼...

2026.03.22·4 min read·67 views

진행 기간: 2025.02


배경

시뮬레이터는 슬롯 게임의 RTP(Return To Player)와 변동성 지수를 검증하는 도구다. 1억 스핀을 돌려서 기댓값과 분산이 수학적으로 맞게 나오는지 확인한다.

변동성 지수(Volatility Index)를 구하려면 분산이 필요하다. 분산을 구하는 가장 직관적인 방법은 모든 스핀의 당첨금을 다 모아두고 나중에 한꺼번에 계산하는 것이다. 이게 문제의 시작이었다.


발견

여러 명이 동시에 시뮬레이터를 돌리면 OOM(OutOfMemoryError)이 발생했다. 확인해보니 JVM 힙 사이즈 설정이 빠져 있어서 기본값으로 실행되고 있었다. 구조적인 원인은 파악했지만, 당장의 해결책으로 힙을 12GB로 늘리는 임시방편을 먼저 적용했다.

bash
export JAVA_OPTS="-Xmx12g -Xms12g"

이후 온라인 알고리즘이라는 방법을 찾게 되어 구조적인 원인을 근본적으로 해결했다.


원인 분석

코드를 보면 AccumulateData 클래스에 이런 필드가 있었다.

java
// 변동성 지수 계산시 사용하던 변수
private final List<Long> winmoneyList;

시뮬레이션이 돌아가는 동안 스핀 한 번이 실행될 때마다 당첨금을 이 리스트에 쌓는다. 문제는 규모다.

plaintext
1억 스핀 × Long 1개(8 bytes) = 800MB (시뮬레이션 1회)
4명 동시 수행 = 800MB × 4 = 3.2GB

힙 12GB 중 winmoneyList만 3.2GB를 차지하고, 그 위에 시뮬레이터의 다른 누적 데이터, Spring 컨텍스트, GC 오버헤드까지 더해지면 OOM이 터질 조건이 충분히 만들어진다.

시뮬레이터는 성능을 위해 멀티스레드로 스핀을 처리하고, 스레드마다 각자의 AccumulateData를 들고 있다가 나중에 합산한다. 합산할 때도 리스트 두 개를 이어 붙이므로(concatList) 순간적으로 메모리 사용량이 더 튀어오른다.

결론: 힙 사이즈 미설정은 트리거였고, 근본 원인은 분산 계산을 위해 모든 당첨금을 메모리에 올려놓는 구조였다.


해결 — Welford's Online Algorithm

분산을 구하기 위해 모든 데이터를 저장할 필요가 없다. Welford's Online Algorithm은 데이터를 하나씩 받을 때마다 평균과 분산을 즉시 갱신한다. 저장하는 값은 세 개뿐이다.

plaintext
count  — 지금까지 처리한 스핀 수 (int,    4 bytes)
mean   — 현재 평균                 (double, 8 bytes)
m2     — 분산 계산을 위한 누적 변수 (double, 8 bytes)

1억 스핀을 처리해도 메모리에 남는 건 20바이트다.

WelfordOnlineCalculator를 새로 만들어서 이 로직을 구현했다.

java
public void addWinMoney(long winMoney, long totalBetAmount) {
    count++;
    final double multiplier = (double) winMoney / totalBetAmount;
 
    // 새 값이 평균에서 얼마나 벗어났는지
    final double delta = multiplier - mean;
 
    // 평균 업데이트
    mean += delta / count;
 
    // 업데이트된 평균 기준으로 다시 계산
    final double delta2 = multiplier - mean;
 
    // 편차의 제곱합 누적
    m2 += delta * delta2;
}
 
double getVariance() {
    return count > 1 ? m2 / (count - 1) : 0.0;
}

스핀 한 번 처리할 때 리스트에 값을 추가하는 대신 addWinMoney()를 한 번 호출하면 된다.

병렬 처리에서의 병합

멀티스레드로 처리할 때 각 스레드의 계산기를 합산하는 것도 수학적으로 처리할 수 있다.

java
public static WelfordOnlineCalculator merge(WelfordOnlineCalculator o1, WelfordOnlineCalculator o2) {
    final WelfordOnlineCalculator merged = new WelfordOnlineCalculator();
    merged.count = o1.count + o2.count;
 
    if (merged.count == 0) {
        return merged;
    }
 
    final double delta = o2.mean - o1.mean;
    merged.mean = ((o1.mean * o1.count) + (o2.mean * o2.count)) / merged.count;
    merged.m2 = o1.m2 + o2.m2 + delta * delta * o1.count * o2.count / merged.count;
 
    return merged;
}

기존 방식은 리스트 merge 시 1억 개짜리 리스트 두 개를 이어 붙이는 비용이 들었다. 이제는 숫자 몇 개의 연산으로 끝난다.


적용

AccumulateData.init()을 @Deprecated 처리하고, 새로운 팩토리 메서드 initWithWelfordOnlineCalculator()를 추가했다.

java
// 기존 방식 — 더 이상 사용하지 않는다
@Deprecated
public static AccumulateData init() { ... }
 
// 새 방식
public static AccumulateData initWithWelfordOnlineCalculator() {
    final AccumulateData accumulateData = new AccumulateData(..., null); // winmoneyList는 null
    accumulateData.welfordOnlineCalculator = WelfordOnlineCalculator.init();
    return accumulateData;
}

슬롯 5종(21, 29, 31, 32, 33)의 시뮬레이터를 새 방식으로 전환했다.


결과

스핀마다 리스트에 당첨금을 쌓던 방식이 사라졌다. 1억 스핀을 처리하는 동안 메모리에는 스칼라 값 3개(20바이트)만 유지된다. 4명이 동시에 시뮬레이션을 실행해도 winmoneyList로 인한 메모리 증가가 없다.

한 가지 검토한 부분이 있었다. Welford's Online Algorithm은 부동소수점 연산을 누적하기 때문에, 전체 데이터를 모아 한꺼번에 계산하는 방식과 결과가 완전히 일치하지 않는다. 실제로 측정했을 때 오차율은 0.xx% 수준이었다. 변동성 지수 계산의 특성상 이 정도 오차는 무시할 수 있는 범위였고, 메모리 안정성을 얻는 편이 훨씬 중요했다.


배운 것

분산을 구하기 위해 모든 데이터를 저장해야 한다는 선입관을 버리자. Welford's Online Algorithm처럼 수학적으로 증명된 온라인 알고리즘을 활용하면 단일 패스로 평균과 분산을 동시에 구할 수 있다.

힙 크기 조절은 임시방편이다. 메모리가 부족해 보일 때 -Xmx를 늘리는 것은 원인을 가리는 것에 가깝다. 무엇이 메모리를 점유하고 있는지 파악하고 구조를 바꾸는 게 맞다.

멀티스레드 환경에서 스레드별 상태 크기가 선형으로 증가하면 위험하다. 스레드 하나의 부담이 작아 보여도 스레드 수 × 사용자 수로 곱해지면 이야기가 달라진다.

정확도와 실용성 사이의 트레이드오프는 직접 측정해서 판단하자. 알고리즘을 바꾸면 오차가 생긴다는 걸 알고 있었다. 어림짐작이 아니라 실제로 측정해보니 0.xx% 수준이었고, 변동성 지수 용도로는 충분히 허용 가능한 범위였다. 수치로 판단했기 때문에 확신을 갖고 적용할 수 있었다.


사용 기술

  • Java 17
  • Welford's Online Algorithm
on this page
  • 01배경
  • 02발견
  • 03원인 분석
  • 04해결 — Welford's Online Algorithm
  • 병렬 처리에서의 병합
  • 05적용
  • 06결과
  • 07배운 것
  • 08사용 기술

댓글 (0)