К содержанию
Разделы методологии

Учебный каталог ошибок

Пять полностью вымышленных разборов: потерянные связи событий, статус вместо оплаты, обращения вместо людей, неполный период и неподтверждённая причина роста.

Валерий Курземнек Обновлено

Открыть в Markdown

На этой странице

Как читать каталог#

Все ситуации ниже полностью вымышлены для обучения. Магазины и сервисы существуют только внутри примеров. У каждого разбора есть условия, ошибочный вывод, проверка и допустимый ответ. Это упражнения на применение публичного стандарта; они не описывают результаты клиентов.

При самостоятельной проверке сначала прочитайте условия и предложите решение. Затем сопоставьте его с допустимым ответом. Проверяется, какие основания доступны системе, какое утверждение она вправе сделать и что нужно выяснить до действия.

Синтетический учебный разбор. Магазин посуды и все события полностью вымышлены.

Условия: магазин получает оплаченные заказы. После изменения формы перестала сохраняться связь заказа с исходным рекламным визитом. В отчёте источников часть оплат осталась без привязки.

Ошибочный вывод: «Рекламный канал перестал приносить оплаты, его нужно отключить».

Проверка: проследить путь от визита до заказа и платежа, найти место потери связи. Проверить, одинаковы ли период, определения и состав событий в сравниваемых источниках. Само наличие общей выручки не восстанавливает атрибуцию.

Допустимый ответ: «Вклад канала пока не определяется: связь событий нарушена. Отключение по основанию отсутствия оплат блокируется. Нужно восстановить связь, повторить расчёт и сохранить причину отказа».

Основание: MM-01 — данные и определения, MM-05 — журнал.

Статус заказа вместо оплаты#

Синтетический учебный разбор. Магазин светильников и весь процесс заказа полностью вымышлены.

Условия: сотрудник переводит заказ в статус «Подтверждён», когда согласованы наличие и доставка. Покупатель может оплатить позже или отказаться. Агент суммирует стоимость подтверждённых заказов и называет сумму полученными деньгами.

Ошибочный вывод: «Поступившие оплаты выросли; можно увеличить рекламный расход».

Проверка: выяснить смысл статуса и найти событие фактической оплаты. Сопоставить заказы с платежами, проверить даты, отмены и возвраты согласно объявленному определению показателя. Сумма заказа сама по себе не свидетельствует о поступлении денег.

Допустимый ответ: «Посчитана стоимость подтверждённых заказов. Вывод о поступивших оплатах требует отдельного расчёта по платежам; увеличение расхода на этом основании пока не подтверждено».

Основание: MM-01 — определения и воспроизводимый расчёт, MM-02 — применимость правила.

Обращения вместо людей#

Синтетический учебный разбор. Сервис ремонта и все обращения полностью вымышлены.

Условия: человек оставляет заявку через форму, затем пишет в чат и звонит. Эти события хранятся отдельно. Агент считает каждое обращение новым человеком, хотя рекламное правило использует стоимость привлечения уникального человека.

Ошибочный вывод: «Привлечённых людей стало больше, стоимость привлечения снизилась».

Проверка: сопоставить единицу счёта в правиле и отчёте. Проверить основания объединения обращений с человеком; неподтверждённые совпадения не склеивать произвольно. Отдельно сохранить число событий и число людей, для которых связь установлена.

Допустимый ответ: «В расчёте учтены обращения. Число уникальных людей не подтверждено. Для решения по стоимости человека нужно проверить связи, пересчитать показатель и отметить оставшиеся ограничения».

Основание: MM-01 — единица счёта, MM-02 — правило решения.

Незавершённый период сравнения#

Синтетический учебный разбор. Магазин текстиля и все наблюдения полностью вымышлены.

Условия: закончившуюся рекламную неделю сравнивают с текущей, которая ещё продолжается. Источник оплат обновляется с задержкой. Агент сравнивает суммы без оговорки о разном покрытии периода.

Ошибочный вывод: «Результат ухудшился после изменения рекламы; нужно отменить изменение».

Проверка: установить границы обоих периодов, свежесть источника оплат и назначенное окно оценки. Проверить сопоставимость аудитории и состава трафика. Простое деление на число прошедших дней не устраняет задержку платежей и различия условий.

Допустимый ответ: «Текущие данные предварительные. Вывод по итоговому результату и отмена на этом основании преждевременны. Сохраняем наблюдение и дату повторного замера; независимо действующие ограничения продолжаем проверять».

Основание: MM-01 — период и свежесть, MM-06 — замер результата.

Присвоение причины росту#

Синтетический учебный разбор. Сервис доставки и вся последовательность изменений полностью вымышлены.

Условия: команда переписала сообщение в воронке. Одновременно изменились предложение и состав рекламного трафика. В следующем периоде выросли оплаты. Агент связывает весь рост с новым сообщением.

Ошибочный вывод: «Новый текст доказанно увеличил оплаты; его нужно распространить на все сценарии».

Проверка: восстановить последовательность изменений, проверить данные, аудиторию и основу для сравнения. Отдельно оценить, позволяет ли выбранный способ сравнения выделить влияние текста. Сам порядок событий «изменили — выросло» этого не устанавливает.

Допустимый ответ: «После нескольких изменений наблюдается рост оплат. Вклад текста отдельно не установлен. Для причинного вывода нужен подходящий план сравнения; перенос во все сценарии требует собственных оснований и проверки».

Основание: MM-06 — способ сравнения и подтверждённый урок, MM-04 — проверка оснований.