Как улучшить предсказания

Читаю книгу Филипа Тетлока и Дэна Гарднера “Superforecasting: The Art and Science of Prediction” (“Супер-прогнозы. Искусство и наука предсказаний“), посвященную анализу результатов большого проекта, в ходе которого пара тысяч обычных людей индивидуально и в командах пытались оценить вероятность тех или иных событий, кои могут произойти в ближайшем будущем (обычно не более нескольких месяцев). В ходе эксперимента исследователи выясняли, какие же качества свойственны делающим “супер точные прогнозы” (в среднем на 30% более точные, чем сделанные экспертами с допуском к секретным материалам, а не только по открытым источникам, как у участников эксперимента).

Книгу я еще не дочитал, потому пока ограничусь пересказом приложения, где перечисляются основные находки. По словам Тетлока следование этим рекомендациям повышает точность прогнозов на 10%. Кажется, что мало? Да, но повысить точность прогнозов на 10% после прочтения нескольких страниц (в оригинале, я ужму еще сильнее) – очень неплохой результат.

Итак, 10 заповедей, улучшающих результаты прогнозирования.

1. Сортировка вопросов
Есть простые вопросы, где шаблоны дадут достаточно неплохой результат, есть практически невозможные для решения вопросы, но есть и сложные вопросы, где усердный, скрупулезный анализ может быть вознагражден.
Например, бесполезно пытаться предсказать, кто будет кандидатом в президенты в США в 2028 году, т.к. слишком много событий произойдет до того времени и повлияют на результат, а вот ситуация по выборам в ноябре 2016 будет в значительной развиваться на основании уже известных фактов (плюс факты, которые станут известны в ближайшие месяцы – и их тоже надо будет учитывать).

2. Разбиваем сложные проблемы на части
Бывает, что проблема кажется нерешаемой в принципе, но если разбить ее на мелкие вопросы и под-вопросики, всё станет заметно проще. Например, сколько потенциальных пар у холостяка из Лондона? Берем население Лондона 6 млн (так в книге, на самом деле под 10 млн), из них женщин ~50%, из них одиноких ~50%, в нужной возрастной группе ~20%, с высшим образованием 26%, причем ему нравится примерно 5%, а он нравится примерно 10%, что дает в итоге 26 потенциальных кандидаток.

Разумеется, эти данные могут быть не точны, т.к. среди одиноких может быть выше процент дам с высшим образованием, а вот возрастную категорию слодевало бы ужать до 10 или 5%, т.к. 16-летний разброс (20% от средней продолжительности жизни в 80 лет) – это многовато. Но автор хотел продемонстрировать подход, а не дать пример абсолютно точного предсказания. Как человек, 10 лет находившийся в поиске в Торонто, где выходцев из бывшего Союза от 100 до 150 тысяч, должен заметить, что количество кандидаток было заметно большим, чем получившиеся в книге пара дюжин, в любом случае для холостяка из Лондона я бы ожидал цифру раз в 50 большую, чем представленная в книге.

3. Нужно найти правильный баланс между взглядами заинтересованных сторон, т.к. каждая пытается представить факты в выгодном им свете.
Представим, что нужно выяснить, сколько времени займет некий проект. Исполнитель говорит – 1 час. Поскольку те, кто внутри, склонны недооценивать сложность предстоящей работы, это надо скорректировать. Потому упомянутый 1 час умножаем на 2 и переходим к следующей по величине единице времени. В итоге получаем 2 дня.

4. Правильная реакция на факты
Один и тот же факт может истолковываться и как перевешивающий все прошлые, и, наоборот, как не имеющий особого значения. Адекватная оценка ближе к Байесовой вероятности (но это к практике имеет небольшое отношение, самые успешные предсказатели не получали образования по статистике).

5. Внимание на противоположные причины, влияющие на проблему
То есть надо не только собственную точку зрения изучать, но и противоположную ей. В качестве метафоры предлагается фасеточный глаз стрекозы, где каждая фасетка получает свою картинку, только сложение этих изображений вместе дает верное представление о предмете.

6. Следует различать степени неопределенности, сомнения
Например, “возможно” кем-то интерпретируется как 40% шансов, а кем-то – 60%, а третьим – 20%. Следует попытаться перевести собственные оценки вероятности событий или сомнения в оных в количественные категории.

7. Баланс между недостаточной уверенностью и чрезмерной уверенностью в правоте
Необходимо учитывать, что есть ложно-положительные и ложно-отрицательные результаты, любой из фактов и само заключение может попадать в любую из этих двух категорий.

8. Искажение апостериорного знания
Все мы делаем ошибки, но апостериори мы склонны находить им оправдания: да, я говорил, что Советский Союз продержится еще 40 лет, а он развалился в 1991, но поскольку страны остались рядом, продолжают торговать друг с другом, следовательно, я не так уж сильно и ошибся (примерно такие оправдания находили себе опрашиваемые Тетлоком эксперты, упомянутые в его книге “Expert Political Judgment”).

9. Плодотворно сотрудничество с окружающими
Полезно делиться с другими своими соображениями и выслушивать их критику и их соображения, это помогает избежать ошибок и заметить то, что сам упустил.

10. Пробуем-ошибаемся-корректируем
Как сложно выучиться кататься на велосипеде по книжке без того, чтобы попробовать самому, тоже самое касается и прогнозов – только тот, кто пробует, совершенствуется.

Впрочем есть и еще одна, одиннадцатая “заповедь” – думать во время исполнения предыдущих 10.

Выводы исследователей звучат логично и разумно, так что, наверное, хоть какая-то польза от рекомендаций должна быть. Не знаю, заинтересовал ли проект кого-либо из читателей, но желающие могут попробовать поучаствовать. Или применить полученные знания где-нибудь еще 🙂

About khvostik

Это блог для тех, кто как и автор, предпочитает разбираться, а не верить. Что неизбежно приводит к отсутствию столь любимой многими однозначности и лёгкости при чтении. Мы живём в мире, где всегда есть "с другой стороны" (а нередко и "с третье", "четвертой" и т.д.). Потому некоторые тексты получаются длинными и отнюдь непростыми, т.е. требуют интеллектуальных усилий и от читателей. Что в свою очередь резко ограничивает аудиторию - любители задуматься толпами не ходят. Теперь собственно об авторе: живу в Канаде, в пригороде Торонто. Человек правых взглядов, мировоззренчески близкий к либертарианцам (направление, отстаивающее максимальную личную и экономическую свободу), но не состоящий ни в каких партиях. Стараюсь не повторять сказанное другими, во всяком случае в той мере, в которой знаком с этими мнениями (нельзя исключить, что во многих случаях к сходным выводам пришли и другие). На истину в последней инстанции или постоянную правоту не претендую, довольно часто ошибаюсь, но честно пытаюсь разобраться в вопросе, несмотря на собственную предвзятость и ограниченные знания. Хвостик - это имя кота. К автору проще обращаться по имени - Иван :)
This entry was posted in Uncategorized and tagged . Bookmark the permalink.

7 Responses to Как улучшить предсказания

  1. Как правило, подобные инструкции придумывают люди со слабой интуицией. На мой взгляд, ярчайший пример того, как работает интуиция – это великая теорема Ферма. Сам он доказал её для частного случая (те же числа, которые используются для решения пифагоровых треугольников, не могут быть использованы в других степенях), но интуитивно чувствовал, что она справедлива для любых троек натуральных чисел. Прошло несколько веков, прежде чем математика достигла такого уровня, что появилась возможность строго логически доказать эту теорему. Интуит как бы “видит” готовый результат возможных построений, не осознавая сами эти построения. У меня самого достаточно сильная интуиция, я могу в споре сделать какое-то заявление, будучи уверенным в его истинности, но при этом чтобы выстроить строгую аргументацию, может потребоваться много времени. Понятно, что вещи, подобные описанным в Вашем посте люди с сильной интуицией делают неосознанно, более того, они, как правило, не могут объяснить, как они это делают, они просто “видят” правильный ответ. С другой стороны, люди со слабой интуицией, как правило, более дисциплинированы, поэтому неспособность увидеть правильный ответ в озарении они компенсируют пространными инструкциями, требующими тщательного выполнения. Особенно это ярко проявляется в технологиях тайм-менеджмента Архангельского. Правда, такую методику можно ещё рассматривать как способ обуздания буйства интуиции, чтобы догадки и предчувствия сделать более достоверными.

    Like

    • khvostik says:

      Сергей, по поводу интуиции все не так однозначно.
      нам может казаться, что мы правильно предсказывали или думали о том, что произойдет. но только в случае, если нет возможности проверить. когда же психологи начали проверять, то выяснилось, что точность предсказаний у экспертов откровенно низка.

      основной автор упомянутой книги – Филип Тетлок, – в предыдущей работе проанализировал тысячи предсказаний признанных экспертов и выяснил, что точность предсказаний у очень хороших специалистов – чуть лучше, чем у генератора случайных чисел.
      Тетлок использовал красивую метафору – шимпанзе, кидающий дротики (в доску с ответами).

      также он обнаружил ошибку памяти: в свете апостериорного знания люди верят, что сделали более точное предсказание, чем на самом деле (у психолога были все ответы, т.е. он мог сравнить то, что людям казалось они ответили, с тем, что они на самом деле ответили).

      я готов предположить, что доказательство, которое имел в виду Ферма, было ошибочным, но его предположение было правильным. в качестве подтверждения я бы сослался на запредельную сложность имеющегося доказательства, что явно не могло мелькнуть в мозгу Ферма, т.к. за прошедшие века математика не стояла на месте. но подчеркну, что это предположение, т.к. фактов ни у Вас, ни у меня нет 🙂

      Like

      • На самом деле, ситуация ещё сложнее, чем Вы говорите. Дело в том, что часто интуитивные догадки и предчувствия имеют вид некоторого специфического настроения, которое проблематично вербализовать. При попытке сформулировать своё предчувствие интуит неизбежно выдаёт некий частный случай, вероятность воплощения которого в разы ниже, чем вероятность воплощения этого настроения. В связи с этим, попытка как-то формально измерить интуицию будет иметь заниженный результат. Но и слишком широкая вербализация предчувствия тоже бесполезна в силу своей абстракции. Ну, чувствует интуит, что “что-то грядёт”, делать-то с этим что? Я бы предположил, что в данном случае вербальной формализацией предчувствий должны быть не гипотетические внешние события, а призывы к конкретным действиям, призванным адекватно иметь дело с неизвестными событиями.

        Like

        • khvostik says:

          интересный подход. а как на практике это должно проявляться? допустим, мы имеем ситуацию, когда возможны три варианта А, Б, В, интуит не может точно вербализовать, какой вариант случится, но к чему он должен призывать, к каким действиям?

          Like

          • Ну, например так. Интуит приходит в какое-то место и чувствует, что это нехорошее место, уходит оттуда. А через минуту после этого на то место, где он находился, падает кирпич. Он чувствовал не то, что упадёт кирпич, а то, что можно назвать “плохая энергетика”.

            Like

  2. “Представим, что нужно выяснить, сколько времени займет некий проект. Исполнитель говорит – 1 час. Поскольку те, кто внутри, склонны недооценивать сложность предстоящей работы”
    В данном примере речь идёт о неопытном исполнителе. Матёрые исполнители наоборот стараются выбить как можно большие сроки под работу.

    Like

    • khvostik says:

      при почасовой оплате. при оплате сдельной ситуация иная 🙂 особенно, когда время исполнения критично.

      Like

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.