데이터로 미래를 설계하기: 시뮬레이션 분석(Simulation Analysis)

 

 2025년도 10월에 접어들면서 나 또한 어느덧 데이터분석가로 일한지 만 4년이 되었다. 4년의 시간동안 코호트 분석, 퍼널 분석, 리텐션 분석, AB테스트 성과 분석 등 다양한 주제들을 여러 방법론을 사용하며 분석해왔다.

분석을 진행할 때마다 "3단계 퍼널의 전환율이 가장 낮아서, 해당 퍼널을 개선하면 전체적인 지표 상승을 기대할 수 있습니다", "세그먼트 B의 리텐션이 가장 높아서 이 세그먼트를 중점적으로 타겟한다면 전체적인 리텐션이 높아질 것입니다" 등의 인사이트를 제안하며 프로덕트와 비즈니스에 도움이 되고자 노력해왔지만, 항상 스스로 해결 못한 질문 하나가 남았었다.

 

그래서 내 제안대로 개선한다면, 실제로 어느 정도의 임팩트를 낼 수 있을까?

 

 

이 질문에 대한 답을 데이터를 기반으로 예측할 수 있는 것. "이 정도 임팩트가 예상된다"고 말할 수 있는 근거를 만드는 것.

그것이 바로 시뮬레이션 분석(Simulation Analysis)이다.

 

---

시뮬레이션 분석이란?

시뮬레이션 분석은 “현실의 시스템을 수학적·통계적 모델로 모사(simulate)하여, 다양한 가정을 적용했을 때 결과가 어떻게 달라지는지를 실험적으로 분석하는 기법”이다.

 

즉, 실제로는 일어나지 않았지만 ‘만약 이런 정책을 시행한다면 결과가 어떻게 변할까?’를 데이터 모델을 통해 미리 재현해보는 것이다.

예를 들어, 유저 행동 로그와 전환율 데이터를 기반으로 정책의 변화가 매출, 리텐션, 전환율 등 주요 지표에 어떤 영향을 미칠지 다양한 시나리오를 가정해 예측할 수 있다.

 

시뮬레이션 분석은 여러 분야에서 쓰인다.

비즈니스 & 마케팅 분석	가격 정책, 프로모션, 기능 제한 등 시나리오별 매출·전환율 변화를 모델링	Freemium 서비스의 유료 전환율 예측, 가격 민감도 분석
데이터 사이언스 / 통계학	몬테카를로 시뮬레이션(Monte Carlo Simulation)처럼 확률 분포 기반의 결과 예측	A/B테스트 결과의 불확실성 평가, 리스크 예측
운영관리(Operations Research)	재고, 생산, 물류 등 복잡한 시스템을 시뮬레이션으로 최적화	생산 라인의 병목 최소화, 고객 대기시간 예측
금융공학(Financial Engineering)	주가, 옵션, 리스크를 확률적 모델로 시뮬레이션	VaR(Value at Risk), 옵션 가격 평가
UX / Product 실험	정책 변경 시 유저 행동 변화를 가정하고, 데이터로 반응 예측	추천 알고리즘 개편 시 클릭/이탈 시나리오 분석

 

이번에는 '정책 변화의 효과를 예측하는 시뮬레이션'에 대해 보다 자세하게 작성하고자 한다.

 

---

시뮬레이션 분석 단계

시뮬레이션 분석의 첫걸음은 '예상 가능한 행동 패턴을 수치화하는 것'이다. 즉, 현상을 단순히 직관으로 이해하는 게 아니라, 사용자의 행동을 변수로 정의하고 그 변수들이 바뀌었을 때의 결과를 실험 가능한 형태로 바꾸는 것이다.

 

많은 사람이 사용하는 Notion의 무료 플랜을 떠올려보자. Notion은 무료 사용자의 팀 초대 인원을 5명으로 제한하고 있다.

즉, 개인이나 소규모 팀이 함께 협업할 수는 있지만 조직 전체가 무료로 쓰는 건 어렵다. 그 제한이 곧 유료 전환을 유도하는 장치이다.

이 '5명'이라는 제한을 시뮬레이션 분석을 통해 설계한다면 다음과 같다.

“초대 가능한 인원에 대한 제한선을 어디에 두면
대다수의 사용자 경험을 해치지 않으면서 월 N명 이상의 유료 사용자를 만들어낼 수 있을까?”

 

이에 대한 시뮬레이션 분석은 다음과 같이 수행할 수 있다.

 

1. 제한선 (Threshold) 설정

초대 가능한 인원을 3, 5, 7명 등으로 가정한다. 이때 제한선 후보를 정하는 기준은 ‘해당 기능을 실제로 사용하는 사용자의 분포(백분위수)’를 참고하는 것이 좋다. 예를 들어, “사용자 초대 기능을 사용하는 유저”의 분위 95%가 3명이라면, 3명 미만으로 제한할 경우 Notion 전체 사용자 중 약 5%가 이 제한을 직접 체감하게 된다. 이는 곧 사용자 경험에 부정적인 영향을 미칠 리스크가 커진다는 뜻이다.

 

2. 체감 비율 (Perceived Limit Rate) 계산

제한선에 도달하는 무료 사용자의 비율이다. “얼마나 많은 유저가 실제로 그 제한에 도달하는가”를 시간축에서 보는 개념이라는 점에서 1단계의 백분위수와 다르다. 예를 들어, '3명' 초대 제한이 전체 기준으로 분위 95%에 해당한다 하더라도, 가입 이후 3명을 초대하기까지 평균 11개월이 걸린다면 월별 체감 비율은 5%보다 훨씬 작아질 것이다.

대다수 서비스에서 유저가 제한을 ‘처음으로’ 마주할 때 전환율이 가장 높기 때문에, ‘체감 비율’을 정교하게 추정하는 것은 매우 중요하다.

 

3. 전환율 (Conversion Rate) 설정

제한을 마주한 사용자가 실제로 유료로 전환할 확률을 의미한다. 기존에 없던 기능이므로 정확한 전환율을 계산하는 것은 불가능하다. (시뮬레이션이라고 불리는 이유이기도 하다.) 

보통은 보수 전환율 / 중간 전환율 / 낙관 전환율로 나누어 각각의 전환율에 따른 임팩트를 계산한다.

서비스가 초입 단계라면 5% / 10% / 30%로 임의로 설정하는 것도 나쁘지 않지만, 사용자 수가 많은 서비스일 경우엔 기존의 전환율을 '낙관 전환율'로 잡고 보수와 중간 전환율을 낙관 전환율보다 작게 잡는 것도 하나의 방법이다.

 

4. 예상 유료 전환자 수 계산

1과 3을 설정했다면, 이제 예상 유료 전환자 수를 계산한다.

월별 예상 유료 전환자 수 = 월별 활성사용자 수 x 제한수에 따른 체감 비율 x 기대 전환율

 

예를 들어,

• 월간 활성 사용자(MAU)가 1억 명이고,
• 초대 제한이 5명일 때 체감 비율이 6%,
• 기대 전환율이 10%라면,

→ 위의 조합에서의 예상 유료 전환자 수는 1억 × 0.06 × 0.10 = 60만 명이 된다.

제한수 후보와 기대 전환율 개수에 따라 시나리오는 더 많이 나올 수 있고(이번 예시에서는 9개의 조합에 따른 예상 유료 전환자 수를 구할 수 있다.) 해당 조합들 중에서 체감 비율이 용납할 수준으로 낮고, 유료 전환자 수가 높은 조합을 제시하는 것이 시뮬레이션 분석이라고 할 수 있다.

 

이 단순한 모델은 완벽하진 않지만, “정책을 이렇게 변경하면 월 약 X명 수준의 신규 전환이 발생할 것이다”라는 정량적 근거를 제시할 수 있게 한다. 이런 방식으로 시뮬레이션을 반복하면 단순한 “좋을 것 같습니다”에서 벗어나 “이 정도의 변화를 기대할 수 있습니다”로 말할 수 있게 된다.

 

---

 

결국 시뮬레이션 분석은 단순히 기초 통계량을 보는 것을 넘어 데이터를 ‘의사결정의 언어’로 바꾸는 방법론이다.
과거를 설명하는 것에서 그치는 게 아니라, 미래를 설계하고 예측하는 단계로 확장하는 것. 그게 바로 프로덕트와 비즈니스에 데이터 직군이 가장 임팩트 있게 기여하는 방식이 아닐까?

 

*이 글이 저처럼 시뮬레이션 분석을 처음 시도해보려는 분들에게 작은 단서와 도움이 되기를 바랍니다🙂