Экспертная оценка рисков: как получить надежные оценки

В большинстве моделей риска данных мало: проект уникален, история не похожа на будущее, статистики по редким событиям нет. Поэтому основным источником исходных данных становятся эксперты. Качество модели определяется качеством этих оценок, а оно сильно зависит от того, как вопросы заданы.

Главные ошибки экспертов

• Слишком узкие диапазоны. Эксперты систематически переоценивают свою уверенность. В исследованиях калибровки интервалы, которые люди называли почти достоверными, накрывали истинное значение заметно реже заявленного (например, Alpert, Raiffa, 1982).
• Эффект привязки. Первое прозвучавшее число — значение из плана, прошлый результат, мнение руководителя — тянет оценку к себе.
• Доступность. Недавние и яркие события кажутся более вероятными. ГОСТ Р 58771-2019 упоминает склонность переоценивать вероятность того, что только что произошло, и эффект присоединения к большинству.
• Мотивация. Руководитель проекта, которому утверждают бюджет, и подрядчик, который его осваивает, оценивают одну и ту же работу по-разному.

Как проводить опрос

1. Определите величину точно. «Стоимость оборудования» — с НДС или без, с доставкой или без, в ценах какого года, при каком объеме поставки? Нечеткое определение — частая причина разброса оценок.
2. Начните с максимума. «Каким может быть худший реалистичный случай? Что для этого должно произойти?» Попросите описать сценарий — это помогает выйти за пределы привычного.
3. Затем минимум. «А лучший реалистичный случай? Что должно сложиться удачно?»
4. Только потом — наиболее вероятное значение. Оно уже не служит якорем для крайних значений.
5. Проверьте диапазон. «Представьте, что фактическое значение оказалось выше вашего максимума. Как такое могло случиться?» Если эксперт легко придумывает объяснение, максимум стоит увеличить.
6. Запишите обоснование. Источники, допущения, что учтено в диапазоне, а что — отдельными рисками. Это защищает от двойного учета и помогает при пересмотре.

Если эксперту трудно назвать абсолютные крайние значения, спросите P10 и P90: «значение, которое будет превышено с вероятностью 10 %». Такие оценки задаются PERT-распределением по процентилям — см. статью «PERT-распределение и треугольное».

Оценка вероятности рисковых событий

Вероятность события оценить труднее, чем диапазон величины. Помогают частоты и опорные классы: «в скольких из последних десяти похожих проектов это происходило?», «чаще или реже, чем раз в пять лет?». Слова «маловероятно» и «возможно» разные люди понимают очень по-разному, поэтому записывайте числа. И разделяйте вероятность и последствия: эксперт склонен считать вероятным то, что кажется опасным.

Несколько экспертов: объединение мнений

Пусть два эксперта оценили срок работ по-разному: первый — 80–100–130 дней, второй — 90–120–180 дней. Как их объединить?

• Смесь распределений. В каждой итерации симуляции с вероятностью 50 % берется значение из распределения первого эксперта, с вероятностью 50 % — второго. Среднее — 113 дней, диапазон P10–P90 — от 93 до 140 дней.
• Усреднение оценок (85–110–155) дает то же среднее, но диапазон P10–P90 сужается до 97–131 дня. Разногласие экспертов само по себе — информация о неопределенности, и усреднение ее теряет.

Веса можно сделать неравными, если опыт экспертов в данном вопросе разный. Еще лучше — обсудить расхождение: часто оказывается, что эксперты по-разному поняли, что входит в оценку. Для групповой работы подходит метод Дельфи: эксперты дают оценки независимо, затем видят обезличенные оценки других с обоснованиями и могут пересмотреть свои.

В МоделРиск смесь задается функцией VoseCombined: в ячейки B2 и B3 вводятся распределения экспертов как объекты, например =VoseModPERTObject(80;100;130;4), а результат — =VoseCombined(B2:B3;C2:C3), где в C2:C3 веса.

Калибровка и обратная связь

• Тренировка на известных величинах. Попросите экспертов дать 80-процентные интервалы для десяти величин, ответы на которые известны (например, из завершенных проектов). Если правильный ответ попадает в интервал реже, чем в 8 случаях из 10, эксперт склонен к излишней уверенности.
• Сравнение с фактом. По завершении проекта сравнивайте фактические значения с прежними оценками. Это лучший способ улучшить оценки в следующий раз.
• Данные там, где они есть. Если по величине есть история, экспертную оценку стоит проверить или заменить распределением, подобранным по данным, — см. «Подбор распределения по данным».

В Тамаре оценки неопределенности задаются не только по отдельным работам, но и по категориям: эксперт оценивает, например, «все бетонные работы», а не сотню задач по отдельности. Это экономит время экспертов и делает оценки согласованными.

Частые вопросы