Еще чуть-чуть про замену эксперта моделью. Вследствие такой замены произойдут две вещи:
1. Устранится изобретательность эксперта, т.е. его способность менять набор оцениваемых факторов в зависимости от кейса;
2. Устранится внутриэкспертный шум.

Кажется, что устранять изобретательность - это плохое решение, ухудшающее точность; на деле же вся эта "изобретательность" просто порождает дополнительный шум, т.к. эксперт "изобретает" не по методу/чеклисту, а интуитивно, а это всегда работает против точности.

Статистически, утверждают авторы, преимущества громоздких экспертных правил не компенсируют негативное воздействие шума.

Про прогнозы: для понимания верности этой главы у нас набралось немало актуальной фактуры за последние три года. Эксперты-прогнозисты есть на любой вкус - за любую из сторон, плюс все градации между ними. Прогнозисты с разных полюсов этого спектра дают диаметрально противоположные прогнозы, из которых не сбываются ничьи. А люди смотрят/слушают тех, кто им симпатичен или близок по взглядам.

Причина очевидная - в невозможности предсказать будущее. Авторы называют такую неспособность "объективной неосведомленностью". В ситуации, когда эксперт должен сделать прогноз, он скорее всего обладает некоторым количеством информации для его обоснования.
Но есть два важных набора факторов: истинное незнание (важная для прогноза информация, которую никак нельзя узнать) и неполная информация (можно было узнать, но этого не произошло). Вместе они и составляют объем объективной неосведомленности, которая делает невозможным прогнозы с приемлемой точностью.

Например, эксперты составляли прогноз успешности соискателей на выбранной должности. По их мнению, точность прогнозов составляла 75-80%, то есть из 10 нанятых сотрудников восемь работают так же хорошо, как предполагали эксперты.

По факту точность оказалась в районе 28% (r=0,28) 💀.

Почему он молчит 🌧