Мониторинг рекомендации Премиум план

Общие данные по рекомендациям собраны на странице Personalize:

• Сводный отчёт показывает как меняется доход с момента запуска первой рекомендации до текущего дня или до дня, выбранного в поле Период до. Это суммарные показатели по всему списку активных рекомендаций.
• Список рекомендаций включает черновики, тестируемые и активные рекомендации. Каждая строка — это рекомендация для отдельного приложения.

Отчёт по рекомендации

После запуска рекомендации вам станет доступен отдельный отчёт по каждому приложению. Для просмотра отчёта кликните по названию приложения или нажмите кнопку .

Отчёт включает следующие данные:

• График (1), который показывает доход от рекомендаций и контрольной группы. По оси Y отложена ключевая метрика, выбранная при создании рекомендации. По оси X — период с момента запуска рекомендации до текущего дня или дня, выбранного в поле Период до.
• Блоки с результатами рекомендаций (2): статус, время необходимое для достижения статистически значимого результата, дополнительный доход, результат, сплит, количество пользователей.
• Блоки, подтверждающие значимость полученных результатов (3): достоверность, мощность, p-value, ожидаемый результат.

• Параметры рекомендации (4): ключевая метрика, по которой оценивается результат, места размещения предложений, выбранный сегмент пользователей и тип рекомендуемого объекта.
• Список предложений (5): одно предложение для контрольной группы (A) и несколько предложений для рекомендательной группы (B1, B2).

Статусы рекомендации

Названия статусов соответствуют этапам формирования рекомендации: Черновик → Тестирование → Обучение → Статзначимый результат (или Ошибка) → Постоянный результат.

На каждом этапе доступен свой набор действий:

Черновик

Черновик — это неактивная рекомендация, создание которой не завершено. Черновик сохраняется автоматически, когда вы переходите на второй шаг создания рекомендации.

Вы можете дописать черновик по кнопке или удалить по кнопке .

Тестирование

Тестирование — это статус неактивной рекомендации на стадии тестов. Статус присваивается автоматически после создания рекомендации и меняется после запуска.

Страница тестирования будет доступна и для всех последующих статусов за исключением рекомендаций в архиве. Подробнее см. раздел Тестирование и запуск рекомендации.

Обучение

Обучение — это статус активной рекомендации. Пользователи вашего приложения уже получают предложения по рекомендации, но для оценки результата нужно время.

Время завершения обучения — это время до набора статзначимого результата, которое отображено на странице просмотра рекомендации в блоке Статистическая значимость.

Статзначимый результат

Статзначимый результат — это статус активной рекомендации, доход от которой может быть увеличен. Статус подтверждает, что пользователи рекомендательной группы приносят больше прибыли, чем контрольная группа. Вы можете изменить сплит, чтобы увеличить доход.

Изменение сплита

Изменить сплит в активной рекомендации можно только один раз. Если у вас нет разрешения на изменение сплита, вы можете обратиться к владельцу аккаунта или к команде MyTracker.

1. На странице просмотра рекомендации нажмите Изменить сплит или кнопку в блоке Сплит.
2. В открывшемся окне с помощью ползунка увеличьте долю рекомендательной группы, чтобы показывать рекомендуемые предложения большему числу пользователей и увеличить доход. Контрольная группа нужна для оценки результата.
3. Нажмите ОК.

Статус рекомендации изменится на Постоянный результат.

Постоянный результат

Постоянный результат — это статус активной рекомендации, которая приносит постоянный доход. Сплит контрольной и рекомендательной групп недоступен для редактирования.

Ошибка

Ошибка — это статус активной рекомендации, результат которой статистически не значим. Пользователи продолжают получать персональные предложения, но в силу небольшого объема данных оценить достоверность результатов невозможно.

Вы можете остановить рекомендацию и создать дубликат с более крупным сегментом по кнопке Остановить и создать дубликат.

В архиве

Статус В архиве означает, что рекомендация остановлена и перенесена в архив. Пользователи больше не получают предложения по этой рекомендации. Вы можете восстановить рекомендацию из архива или дублировать, остальные действия недоступны.

Для просмотра архива включите опцию Отображать архивные в списке рекомендаций.