ИК Критически • Д-р Игорь
Теория вероятностей • реальные последствия

Когда цифра надевает мантию судьи

История Салли Кларк показывает простую и страшную вещь: число может быть вычислено без ошибки и всё равно оказаться ложным доказательством.

Коротко о деле

Две трагедии превратились в обвинительную модель

У Салли Кларк умерли двое младенцев. В 1999 году её признали виновной в их убийстве. В центре обвинения оказались медицинские выводы и чрезвычайно эффектная статистическая цифра.

1996

Умирает первый сын, Кристофер. Первоначально смерть связывают с естественными причинами.

1998

Умирает второй сын, Гарри. После новой экспертизы подозрение направляют на мать.

1999

Присяжным сообщают: шанс двух подобных смертей в такой семье якобы около 1 к 73 миллионам.

2002

Пересмотр выявляет серьёзные проблемы со статистикой и непредставленные бактериологические данные.

2003

Апелляционный суд отменяет обвинительные приговоры. Кларк выходит на свободу после более трёх лет заключения.

Ключевой урок: судебная ошибка возникла не из одной плохой формулы. Сошлись неверная модель, неправильная интерпретация, авторитет эксперта, неполные данные и система, которая слишком поздно задала неудобные вопросы.
Разбор ошибок

Что именно было сломано

Не надо говорить «статистика подвела». Статистика ничего не решала. Люди выбрали модель, сделали предположения и забыли их проверить.

01

Независимость взяли из воздуха

Вероятность единичной смерти возвели в квадрат. Так можно делать лишь тогда, когда события независимы или когда известна нужная условная вероятность. Дети одной семьи разделяют генетические и средовые факторы, поэтому независимость нельзя объявить по умолчанию.

Ошибка модели
02

Перепутали две условные вероятности

Редкость двух смертей при гипотезе естественных причин не равна вероятности невиновности после двух смертей. Это классическая ошибка обвинителя: P(данные | невиновность) подменяют на P(невиновность | данные).

Ошибка логики
03

Сравнивали реальность только с одной гипотезой

Даже если событие редко при естественных причинах, нужно спросить: насколько вероятны те же данные при альтернативе, то есть при двойном убийстве? Редкое не означает виновное. Обе версии могут быть редкими.

Односторонняя проверка
04

Данные использовали дважды

Характеристики семьи выбирались с оглядкой на конкретный случай, а затем использовались, чтобы объявить этот же случай невероятным. Это родственник data snooping: сначала подгоняем группу, потом удивляемся редкости результата.

Смещение отбора
05

Яркая цифра победила неопределённость

«Один к 73 миллионам» легко запоминается и создаёт иллюзию точности. Но число без диапазона неопределённости, проверки предпосылок и объяснения смысла становится не результатом анализа, а риторическим оружием.

Коммуникация риска
06

Важные данные не попали в общую картину

При пересмотре дела появилась информация о тяжёлой стафилококковой инфекции у Гарри и о нераскрытых ранее бактериологических результатах. Анализ без контроля происхождения и полноты данных может быть математически изящным и фактически бесполезным.

Качество данных
Математика без магии

Арифметика верна. Вывод неверен

Именно поэтому эта история так важна для аналитиков. Проверить умножение мало. Нужно проверить мир, который мы описываем этим умножением.

Что посчитали

1/8543 × 1/8543 ≈ 1/72 982 849

Округление даёт знаменитые «1 к 73 миллионам». Калькулятор здесь не протестует.

Что требовалось обосновать

P(A ∩ B) = P(A) × P(B | A)

Заменить P(B | A) на P(B) можно только при независимости. А именно это предположение и не было доказано.

Фраза, которую стоит запомнить: ошибка была не в калькуляторе. Ошибка была в модели, которую калькулятору подсунули.

Насколько результат зависит от предположения?

Ниже не оценка реального риска СВДС, а демонстрация чувствительности. Представим, что после первого случая условный риск второго выше базового в несколько раз.

1 250

Меняется только иллюстративное предположение о зависимости.

Иллюстративная совместная частота
примерно 1 к 72 982 849

При множителе 1 мы фактически предполагаем независимость.

Ошибка обвинителя

Вопрос, на который ответили, и вопрос, который волновал суд

Посчитали

Насколько необычны две смерти, если предположить естественные причины?

≠
Хотели узнать

Насколько вероятна невиновность Салли Кларк с учётом всех данных?

Правильная рамка: сравнить конкурирующие объяснения

Апостериорные шансы = Априорные шансы × P(данные | убийство) / P(данные | естественные причины)
1. Априорная информация Насколько вообще редки двойные естественные смерти и двойные убийства детей матерью?
2. Правдоподобие данных Какие медицинские наблюдения ожидаемы при каждой версии, а не только при одной?
3. Полная картина Что меняют инфекции, результаты анализов, качество вскрытия и альтернативные объяснения?
Малая вероятность данных при одной гипотезе не является большой вероятностью другой гипотезы.
Данные и ответственность

Модель не может исправить отсутствующие факты

При пересмотре дела комиссия указала не только на вводящую в заблуждение статистику, но и на серьёзное нераскрытие важных бактериологических данных.

Данные, которые увидел суд

Медицинские интерпретации травм, история двух смертей и громкая оценка редкости. Всё это складывалось в убедительный рассказ.

Данные, которых не хватало картине

Свежая экспертная оценка указывала, что Гарри страдал от тяжёлой стафилококковой инфекции. Ранее важные результаты бактериологии не были представлены защите и присяжным.

Для аналитика: прежде чем строить модель, спросите, кто собирал данные, что могло не попасть в таблицу, какие измерения пересматривались задним числом и кому было выгодно считать часть наблюдений «неважными».
Чек-лист д-ра Игоря

Девять вопросов к любой «убийственно убедительной» цифре

Подходит для суда, медицины, бизнеса, исследований и презентации начальнику, который очень любит один большой KPI.

1Какой точный вопрос задавался модели?
2Не перепутаны ли P(A|B) и P(B|A)?
3Почему события считаются независимыми?
4Какая конкурирующая гипотеза и какова вероятность данных при ней?
5Откуда взялась базовая частота и подходит ли группа сравнения?
6Не выбраны ли признаки после просмотра результата?
7Какие данные отсутствуют, исключены или были переопределены?
8Есть ли анализ чувствительности к предположениям?
9Объяснил ли эксперт ограничения так же громко, как главное число?
Проверка без пожизненного срока

Что действительно следует из числа «1 к 73 миллионам»?

Выберите наиболее корректный ответ.
Достижение недели 4

Вероятность спасает

Вы дочитали историю Салли Кларк. Главный вывод: критическое мышление помогает не принять убедительную цифру за истину.

Достижение открывается…
Источники и прозрачность

Откуда взяты факты

Текст написан заново специально как учебный материал. Фотографии и фрагменты исходной публикации не копировались. Журналистский материал использован как отправная точка, ключевые статистические и процессуальные факты сверены по первичным и официальным источникам.

  • Royal Statistical Society, письмо лорд-канцлеру, 23 января 2002. Критика предположения независимости, двойного использования данных и ошибки обвинителя. Открыть документ
  • Criminal Cases Review Commission, дело Sally Clark. Официальное резюме пересмотра, стафилококковой инфекции, нераскрытых данных и отмены приговоров. Открыть страницу
  • Royal Statistical Society, Fundamentals of Probability and Statistical Evidence in Criminal Proceedings. Руководство по условным вероятностям, независимости и представлению статистических доказательств. Открыть руководство
  • «Холод», «Одна из самых страшных судебных ошибок». Русскоязычный журналистский лонгрид, который послужил поводом для этого учебного разбора. Открыть материал
Материал обсуждает смерть детей, судебную ошибку и последствия заключения. Его задача не развлечь трагедией, а показать цену самоуверенности в работе с вероятностями и данными.