Как измерять эффект OSA: наличие на полке и экономика
Наличие товара на полке и экономический эффект проекта отвечают на разные вопросы. На встрече 18 июня сопоставили показатели доступности и пять подходов к оценке результата изменений.

Главное со встречи
- Показатель доступности и оценка экономики — разные уровни. Улучшение наличия нужно связать с выбранным способом оценки продаж.
- В презентации сопоставлены пять подходов. Метод выбирают с учётом данных, сравнения и ограничений.
- Товар в магазине и товар на полке — разные состояния. Выкладку и виртуальные остатки важно различать.
- Частный замер сохраняет свой контекст. Его нельзя автоматически переносить на другие магазины или весь рынок.
Постановка задачи
Сначала договориться, что считать результатом
В материалах встречи разведены метрики доступности товара и способы оценки экономического эффекта. Первая группа описывает состояние наличия, вторая помогает оценивать результат проекта через выбранное сравнение.
Наличие и эффект отвечают на разные вопросы
Доступность
Есть ли нужный товар на полке в момент наблюдения?
Экономический эффект
Как оценить изменение продаж и связать его с воздействием проекта?
Для практической оценки полезно заранее назвать показатель, период и объект наблюдения: конкретную полку, товар, магазин или группу магазинов. Это задаёт границы, в которых будет понятен результат.
Выбор измерения
Пять подходов и вопросы к каждому
В презентации сопоставлялись сравнение пилотных и контрольных магазинов, A/B-тестирование, поправка на органическую динамику, прогноз потерянных продаж и оценка восстановленных продаж после полезных уведомлений. При выборе подхода важно проверить основание сравнения.
Как проверить выбранную оценку
Пилотные и контрольные магазины
С какой группой сравнивается результат пилота?
Насколько сопоставимы магазины и условия наблюдения?
Ограничение: трудно подобрать магазины-близнецы; внешние факторы могут сохранять влияние на результат.
A/B-тестирование
Что изменяется между сравниваемыми вариантами?
Какие условия и показатели определены до начала теста?
Ограничение: короткий пилот может не дать статистически различимого эффекта.
Поправка на органическую динамику
Как учитывается движение продаж, которое происходило бы без проекта?
На каких данных основана такая поправка?
Ограничение: оценка зависит от выбранной модели и доступных данных для её обучения на контрольных магазинах.
Прогноз потерянных продаж
Какие предположения о продажах и наличии заложены в прогноз?
Как проверить устойчивость полученной оценки?
Ограничение: в расчёт переходит ошибка прогноза; результат зависит от ассортимента и состава сигналов. Сложно оценить случаи виртуального остатка.
Восстановленные продажи после полезных уведомлений
Как подтверждается, что проблема устранена после сигнала?
Какие данные связывают полезное уведомление, действие магазина и последующие продажи?
Ограничение: расчёт может не учитывать замещение внутри категории и эффект за пределами сигнальных SKU. Часть эффекта может проявиться позже.
Интерпретация
Сохранять контекст магазина и причины отсутствия
В обсуждении различались ситуации, когда товар находится в магазине, но не выставлен, и проблемы учётных остатков. Для них нужны разные проверки: физическое движение товара и соответствие данных фактическому наличию.
Частное наблюдение в выбранных магазинах и в определённый момент характеризует именно этот замер. Перед переносом вывода на другие магазины нужно проверить условия наблюдения, состав случаев и используемые определения.
Такая детализация помогает связать показатель с действием: что исправлять в магазине и как затем оценивать изменение.
Практический шаг перед оценкой проекта
- Определить проблему доступности и единицу наблюдения.
- Выбрать показатель и подход к оценке экономического результата.
- Согласовать сравнение, период и необходимые данные до начала проверки.
- Связать сигнал, действие магазина и подтверждение результата.
Периодичность контроля и рабочие процедуры стоит согласовать под задачу пилота. Само предложение регулярного разбора не заменяет измеренного результата.