Оценка прогноза

Оценка прогноза LTV основана на сравнении предсказанных и фактических данных. Вы можете построить наглядный отчёт в интерфейсе MyTracker, а также самостоятельно произвести расчёт средневзвешенной ошибки по описанной ниже методике.

Рекомендуется производить оценку в тех разрезах данных, которые вы обычно используете для просмотра статистики. Это позволит дать точную оценку качества принятых ранее решений, обнаружить разрезы с серьезными отклонениями и определить слабое звено предиктивной модели.

Сравнительный отчёт

Постройте сравнительный отчёт в интерфейсе MyTracker:

1. В Конструкторе выберите период отчёта, за который уже есть фактические данные.
2. Добавьте в отчёт прогнозные и фактические метрики, например Прогноз LTV 1m и LTV 1m, и нажмите Посчитать. Отчёт будет построен.
Откройте этот отчёт в Конструкторе

3. Откройте график по кнопке Показать график над отчётом. Выберите метрику для сравнения, нажав в заголовке таблицы отчёта: Прогноз LTV 1m для LTV 1m и наоборот.

Чтобы оценить прогноз LTV отдельно по покупкам, подпискам, по встроенной рекламе и универсальным платежам, добавьте в отчёт разрез или фильтр Тип дохода.

Расчёт средневзвешенной ошибки для LTV

Предиктивные модели не всегда корректно определяют набор значимых факторов — механика в приложениях и играх зачастую меняется, что оказывает влияние на поведение пользователей выбранной когорты и ошибки прогноза LTV неизбежны. Но зная величину исторической ошибки, вы можете увереннее оперировать полученными данными и выбирать тот горизонт прогноза, где точность больше соответствует вашей текущей стратегии.

Прогноз LTV стоит оценить в разрезе по Типу дохода, то есть посчитать ошибку отдельно для LTV по покупкам, LTV по подпискам и LTV по встроенной рекламе.

Метод расчёта

1. Выберите временной интервал для расчёта ошибки. Это должен быть период, за который есть и предсказанные, и фактические данные.
2. Все установки из интервала, взятого для расчёта ошибки, разбейте на несколько когорт.
Для LTV по покупкам:
• Проект+Дата+Партнёр
• Проект+Дата+Страна+Партнёр
• Проект+Дата
• Проект+Месяц
• Проект+Дата+Кампания (для малых кампаний введите дополнительную группировку данных: постройте распределение платящих пользователей на 8-ой день за весь исследуемый период и выделите три группы: <50%, 50-75%, 75-100%)
Для LTV по рекламе (по in-app просмотрам):
• Проект+Дата
• Проект+Месяц
• Проект+Дата+Рекламная сеть (VK, Yandex Direct и др.)
• Проект+Дата+Страна
• Проект+Дата+Кампания
Для LTV по подпискам:
• Проект+Дата
• Проект+Месяц
• Проект+Дата+Страна
• Проект+Месяц+Страна
• Проект+Месяц+Тип трафика


3. Определите суммы прогнозов отдельно на 1, 2, 3, 6 месяцев, 1 и 2 года для выбранных когорт.
Например, для когорты Проект+Дата:
• Прогноз LTV 1m на Проект1Дата1 + ...+ Проект1ДатаN
• Прогноз LTV 2m на Проект1Дата1 + ...+ Проект1ДатаN
• Прогноз LTV 3m на Проект1Дата1 + ...+ Проект1ДатаN
• Прогноз LTV 6m на Проект1Дата1 + ...+ Проект1ДатаN
• Прогноз LTV 1y на Проект1Дата1 + ...+ Проект1ДатаN
• Прогноз LTV 2y на Проект1Дата1 + ...+ Проект1ДатаN
• Прогноз LTV 1m на Проект2Дата1 + ...+ Проект2ДатаN
...


4. Определите фактические суммы отдельно на 1, 2, 3, 6 месяцев, 1 и 2 года для тех же когорт.
Например, для когорты Проект+Дата:
• LTV 1m на Проект1Дата1 + ...+ Проект1ДатаN
• LTV 2m на Проект1Дата1 + ...+ Проект1ДатаN
• LTV 3m на Проект1Дата1 + ...+ Проект1ДатаN
• LTV 6m на Проект1Дата1 + ...+ Проект1ДатаN
• LTV 1y на Проект1Дата1 + ...+ Проект1ДатаN
• LTV 2y на Проект1Дата1 + ...+ Проект1ДатаN
• LTV 1m на Проект2Дата1 + ...+ Проект2ДатаN
...


5. Посчитайте ошибку по каждой когорте отдельно на 1, 2, 3, 6 месяцев, 1 и 2 года:
   Ошибка по когорте = | (Сумма прогнозов+1$) / (Фактическая сумма+1$) – 1 |,
   где 1$ добавлен, чтобы исключить деление на ноль.
Например, для когорты Проект+Дата:

• Ошибка по Проекту1 = |(Прогноз LTV 1m+1$)/(LTV 1m+1$)–1|
• Ошибка по Проекту2 = |(Прогноз LTV 1m+1$)/(LTV 1m+1$)–1|
...
• Ошибка по Проекту1 = |(Прогноз LTV 2m+1$)/(LTV 2m+1$)–1|
• Ошибка по Проекту2 = |(Прогноз LTV 2m+1$)/(LTV 2m+1$)–1|
...


6. Посчитайте средневзвешенную ошибку по каждой когорте отдельно на 1, 2, 3, 6 месяцев, 1 и 2 года:
   Ср. ошибка = (Ошибка_по_когорте_1*Фактическая_сумма_по_когорте_1 + ... + Ошибка_по_когорте_N * Фактическая_сумма_по_когорте_N) / Фактическая сумма по всем когортам
Например, для когорты Проект+Дата:

• Ср. ошибка = (Ошибка_по_Проекту1*LTV_1m_на_Проект1+ ... +Ошибка_по_ПроектуN*LTV_1m_на_ПроектN) / LTV_1m_на_Проект1 + ... + LTV_1m_на_ПроектN

Результат

По средневзвешенной ошибке можно оценить качество прогноза и принять решение о его дальнейшем использовании, при этом важно помнить об ограничениях предиктивных моделей. При серьёзных ошибках прогноза следует передать исходные данные и результаты расчёта, а также сведения о проводимых акциях и обновлениях в службу поддержки MyTracker для возможной коррекции моделей прогноза.

Пример средневзвешенных ошибок LTV по покупкам на исторических данных MyTracker

Пример средневзвешенных ошибок LTV по рекламной монетизации на исторических данных MyTracker

Пример средневзвешенных ошибок LTV по подпискам на исторических данных MyTracker