그로스 실험 결과 보고서 예시

아마존의 6Pager 에서 영감 받은 1Pager 네러티브 스타일

모든 실험은 *365days TTV Incremental Revenue¹를 측정하는 것을 권합니다.

가장 좋은 실험 문서는 아마존의 1 Pager (아마존은 6 pagers 이지만, 1 page 만으로도 충분합니다) narrative 스타일의 문서가 읽기 편합니다. 순서 파괴 라는 책을 꼭 읽어보세요.

아래는 LLM 이 작성한 3 개의 예시입니다. 예시엔 쿠폰 비용 계산을 안 해 놨는데 (역시 이래서 LLM 돌린 뒤 editing 에 시간을 더 써야함) 실제로는 비용을 뺀 revenue 도 기입을 추천드립니다.

제목: 휴면 사용자 재활성화를 위한 Braze 성장 실험

실험 개요

• 문제 정의: 지난 6개월 동안 구매하지 않고 이전 구매 경험을 가지고 있는 휴면 사용자의 비율이 증가하고 있다.

• 가설: 맞춤형 프로모션 제안과 함께 복귀 인센티브를 제공함으로써 휴면 사용자를 다시 활성화할 수 있다.

• 실험 설계:

  • 대상 그룹: 지난 6개월 동안 활동이 없는 구매 경험이 있는 사용자

  • 실험 그룹: 개인화된 프로모션 + 구매 인센티브 제공

  • 통제 그룹: 무작위 광고 노출

• 실험 기간: [시작 날짜] ~ [종료 날짜]

실험 결과

• 핵심 지표:

  • 오픈율 (실험 그룹 vs. 통제 그룹)

  • 클릭률 (실험 그룹 vs. 통제 그룹)

  • 전환율 (실험 그룹 vs. 통제 그룹)

  • 수익 증대

• 분석

  • [실험 그룹 및 통제 그룹 지표에 대한 통계적으로 유의미한 차이점 분석]

  • 프로모션 유형에 따른 성과 차이

• 결론

  • 개인화된 프로모션과 복귀 인센티브를 함께 사용하는 전략이 휴면 사용자의 재활성화에 효과적이었다(or was not effective).

  • 실험 결과는 휴면 사용자를 대상으로 한 향후 마케팅 캠페인에 시사점을 제공한다.

조치 사항/추후 연구

• 추가 조치

  • 가장 높은 전환율을 보인 프로모션 유형에 대한 추가적인 최적화

  • 이 실험 결과를 다른 고객 세그먼트에 적용할 가능성 탐색

• 추후 연구

  • 휴면 사용자 활성화를 위해 다른 인센티브 유형 테스트

  • 채널 다양화 (푸시 알림, SMS, 이메일)

참고사항

• 실험에 대한 구체적인 데이터와 차트가 포함된 전체적인 보고서는 별도로 제공됩니다.

Forward 365 days incremental revenue by Gemini

• 문제 정의: 앱을 오픈한 사용자들 중에서 구매 전환율을 높이고, 365일간의 증분 매출을 창출할 수 있는 인앱 메시지 최적화가 필요하다.

  가설: 앱을 방문한 사용자에게 20% 할인 쿠폰을 인앱 메시지로 노출시킬 경우, 구매 전환율이 향상되고 증분 매출이 발생할 것이다.

  실험 설계

  • 대상 그룹: 최근 기간 (예: 7일) 내에 앱을 오픈한 사용자

  • 실험 그룹: 20% 할인 쿠폰이 포함된 인앱 메시지를 노출

  • 통제 그룹: 아무런 메시지를 노출하지 않음

  실험 기간: [시작 날짜] ~ [종료 날짜] (실험 기간 조정 필요)

  핵심 지표

  • 주 지표: 365일간의 증분 매출

  • 보조 지표:

    • 인앱 메시지 노출

    • 인앱 메시지 클릭률 (CTR)

    • 쿠폰 사용률

    • 구매 전환율

    • 평균 주문 금액 (AOV)

  예상 결과 (샘플 데이터)

  

  drive_spreadsheetExport to Sheets

  분석 및 향후 조치

  • 증분 매출과 같은 장기 지표는 실험 후 지속적인 모니터링이 필요합니다.

  • 쿠폰의 금액, 인앱 메시지의 디자인, 타이밍 등을 추가로 실험하여 최적화 기회를 찾습니다.

  • 다른 사용자 세그먼트 (신규 사용자, 특정 카테고리 관심 사용자 등)에 유사한 실험을 적용해볼 수 있습니다.

  주의사항

  • 샘플 데이터는 가상의 수치이며, 실제 실험 결과에 따라 변경되어야 합니다.

  • 실험 기간은 증분 매출의 신뢰성있는 측정을 위해 충분히 길게 설정해야 합니다.

• Forward 365 days incremental revenue by GPT4

패션앱 사용자 대상 실험: 인앱 메시지를 통한 20% 할인 쿠폰 제공

실험 목적:

• 패션앱을 열어본 사용자들에게 인앱 메시지를 통해 20% 할인 쿠폰을 제공하여 향후 365일 동안의 추가 수익 증가를 목표로 합니다.

실험 배경:

• 패션앱은 고객의 앱 사용 경험을 개선하고, 장기적으로 수익성을 증가시키기 위한 전략의 일환으로, 앱을 열어본 사용자들에게 할인 혜택을 제공하기로 결정했습니다.

• 이번 실험은 할인 쿠폰이 실제로 구매 결정에 어떤 영향을 미치는지, 그리고 장기 수익에 어떤 기여를 하는지 평가하기 위해 실시되었습니다.

실험 설계:

• 대상: 패션앱을 최소 한 번은 열어본 사용자

• 조치: 인앱 메시지를 통해 20% 할인 쿠폰 제공

• 기간: 실험 시작일로부터 365일

• 측정 지표: 할인 쿠폰 사용률, 추가 구매 발생률, 365일 동안의 총 추가 수익

샘플 데이터:

결과 분석:

• 할인 쿠폰 사용률: 실험 그룹에서 30%의 사용자가 할인 쿠폰을 사용했습니다.

• 추가 구매 발생률: 실험 그룹에서 12%의 사용자가 추가 구매를 했으며, 이는 대조 그룹의 8%에 비해 4%포인트 높습니다.

• 추가 수익: 실험 그룹은 대조 그룹에 비해 50,000,000원의 추가 수익을 생성했습니다. 이는 할인 쿠폰 제공이 장기적인 수익 증가에 기여할 수 있음을 시사합니다.

결론 및 제안:

• 이번 실험을 통해 인앱 메시지를 통한 20% 할인 쿠폰 제공이 사용자의 추가 구매를 유도하고, 향후 365일 동안의 수익 증가에 긍정적인 영향을 미칠 수 있음을 확인했습니다.

• 따라서 패션앱은 이러한 할인 쿠폰 전략을 지속적으로 활용하고, 다양한 프로모션을 통해 고객 참여를 더욱 확대하는 방안을 고려해야 합니다.

• 또한, 고객의 구매 행동과 반응을 지속적으로 분석하여, 보다 맞춤화된 혜택을 제공함으로써 장기적인 고객 충성도와 수익성을 높일 수 있는 전략을 개발하는 것이 중요합니다.

추가 고려 사항:

• 다양한 할인율과 쿠폰 유형에 대한 실험을 통해 최적의 프로모션 전략을 찾아야 합니다.

• 고객 세분화를 통해 각 사용자 그룹에 맞춤화된 할인 쿠폰을 제공하는 것이 효과적입니다.

• 쿠폰 사용 데이터를 분석하여 고객의 구매 성향을 파악하고, 이를 기반으로 마케팅 전략을 개선할 수 있습니다.

1. *365days TTV (Total Transactional Value) Incremental Revenue란? 실험의 incremental 로 인해 앞으로 365일 동안 얼마의 Revenue 를 더 벌 수 있는지를 계산 해 보는 것. 모든 실험 결과를 하나의 지표로 통일 했을 때 apple to apple 비교가 가능해집니다. 저는 이것을 지표의 Dollor 화 라고 부릅니다. 예를들어 장바구니 컨버전이 20% 증가했다면 이를 통해 365d TTV 가 얼마나 증가할지를 계산하는 것입니다.