Подбор распределения по данным

Чтобы подобрать распределение по данным, выберите несколько подходящих по смыслу распределений (например, для неотрицательных скошенных величин — логнормальное и гамма), оцените их параметры по данным, сравните качество подгонки по информационным критериям и графикам и проверьте, правдоподобно ли каждое ведет себя в хвостах. При небольшом объеме данных учитывайте неопределенность самих параметров: 60 наблюдений не позволяют точно определить даже P95.

Если по неопределенной величине есть данные — история ремонтов, страховые убытки, отклонения сроков поставок, результаты измерений, — распределение для модели риска лучше подобрать по ним, а не задавать экспертно. Но «подобрать распределение» — не значит нажать кнопку и взять первое в списке. Разберем процесс на примере.

Пример: длительность ремонта оборудования

Энергетическая компания собрала данные о 60 внеплановых ремонтах однотипного оборудования. Длительность ремонта от 1 до 16 дней, среднее — 6,5 дня, медиана — 5,3 дня. Модели нужна длительность одного будущего ремонта, чтобы оценить потери выработки.

ЛогнормальноеНормальное05101520Длительность ремонта, дней
Гистограмма длительностей 60 ремонтов и два подобранных распределения: логнормальное и нормальное.

Шаг 1. Выберите кандидатов по смыслу

Длительность не бывает отрицательной, а данные скошены вправо: медиана меньше среднего, есть редкие долгие ремонты. Естественные кандидаты — логнормальное, гамма-распределение, распределение Вейбулла. Нормальное распределение включим для сравнения, потому что его часто выбирают по привычке.

Шаг 2. Оцените параметры и сравните качество

РаспределениеКачество подгонки (SIC)P95, днейP99, днейВероятность больше 15 дней
ЛогнормальноеЛучшее (почти равно гамма)13,920,33,8 %
ГаммаЛучшее (почти равно логнормальному)13,017,02,2 %
НормальноеЗаметно хуже12,314,70,8 %
Данные12,5—2 из 60

Нормальное распределение проигрывает по информационному критерию и, кроме того, дает 3,3 % вероятности отрицательной длительности, что невозможно. Логнормальное и гамма-распределения описывают данные почти одинаково хорошо, но расходятся в хвосте: P99 — 20 и 17 дней. Это типичная ситуация: в центре распределения кандидаты неразличимы, а для риска важны как раз хвосты.

Шаг 3. Проверьте хвосты

Когда критерии не различают кандидатов, решают знания о процессе. Если долгие ремонты связаны с ожиданием запчастей, которые иногда приходится заказывать за рубежом, тяжелый хвост логнормального распределения правдоподобнее. Если таких причин нет — можно взять гамму. Для проверки полезны графики P-P и Q-Q: отклонение точек в крайних квантилях показывает, что хвост описан плохо. Если выбор неочевиден, можно усреднить модели с весами, отражающими их правдоподобие.

Шаг 4. Учтите неопределенность параметров

Параметры, оцененные по 60 наблюдениям, сами неточны. Чтобы это увидеть, используют параметрический бутстрэп: многократно генерируют выборки из подобранного распределения, заново оценивают параметры и смотрят, как меняется результат. В примере P95 длительности ремонта по логнормальному распределению — 13,9 дня, но с учетом неопределенности параметров он с вероятностью 90 % лежит между 11,5 и 16,6 дня. Если эту неопределенность не учесть, модель будет слишком уверенной, особенно при малом объеме данных.

Шаг 5. Проверьте, подходят ли данные

  • Однородность. Данные должны описывать ту же величину, что и модель: тот же тип оборудования, тот же период, те же условия.
  • Усеченные данные. Если мелкие убытки или короткие ремонты не регистрировались, это нужно учесть при подборе, иначе распределение сместится.
  • Тренды. Если цены или длительности систематически растут, это временной ряд, а не выборка из одного распределения.
  • Мало данных. При 10–15 наблюдениях подбор лучше сочетать с экспертной оценкой — см. «Экспертная оценка рисков».

Подбор распределений в МоделРиск

В МоделРиск окно подбора распределения подгоняет к выделенным данным десятки распределений, ранжирует их по информационным критериям SIC, AIC и HQIC и показывает наложение плотности на гистограмму, графики P-P и Q-Q. Для формул в модели есть функции подбора, например =VoseLognormalFit(A2:A61;ИСТИНА) или =VoseOptimalFit(A2:A61;ИСТИНА), которая сама выбирает лучшее распределение. Второй аргумент ИСТИНА включает учет неопределенности параметров — его стоит включать почти всегда.

МоделРиск: окно подбора распределения со списком распределений, ранжированных по информационным критериям
МоделРиск: окно подбора распределения — список кандидатов с информационными критериями и наложение на гистограмму данных.

Подобранные распределения используются в модели так же, как экспертные: в модели денежных потоков, в модели надежности оборудования или в оценке запасов (см. «Вероятностная оценка запасов»).

Частые вопросы

Какой критерий использовать для выбора распределения?

Информационные критерии — SIC (байесовский, он же BIC), AIC и HQIC — учитывают и качество подгонки, и число параметров. Критерии согласия (хи-квадрат, Колмогорова — Смирнова, Андерсона — Дарлинга) полезны, но сами по себе плохо различают распределения при малом объеме данных. Решение всегда стоит проверять графиками.

Сколько данных нужно для подбора распределения?

Жесткого порога нет. При 20–30 наблюдениях подбор возможен, но неопределенность параметров велика, и ее обязательно нужно учитывать. Для оценки хвостов (P99) даже сотни наблюдений бывает мало — там важнее выбрать форму распределения по смыслу процесса.

Можно ли использовать данные без подбора распределения?

Да, с помощью эмпирического (непараметрического) распределения, которое повторяет данные. Это удобно, когда данных много, но такое распределение не дает значений за пределами наблюдавшихся, а для риска часто важны именно они.

Почему нормальное распределение подходит не всегда?

Нормальное распределение симметрично и допускает отрицательные значения. Для длительностей, затрат, убытков, которые не бывают отрицательными и обычно скошены вправо, оно занижает вероятность крупных значений и дает невозможные отрицательные.

30дней

МоделРиск

МоделРиск — надстройка Excel для анализа рисков методом Монте-Карло. Пробная версия на 30 дней без ограничений.

Скачать МоделРиск бесплатно →

Тимур Купеев

Директор ООО «Стратегия Риска»

Руководит разработкой и внедрением МоделРиск, Тамары и Пеликана и проектами по количественному анализу рисков в промышленных, энергетических и финансовых компаниях.