[БЕЗ ЗВУКА] Этот урок посвящен проблеме множественной проверке гипотез. Для того чтобы понять, в чем эта проблема заключается, давайте рассмотрим несколько примеров. Первый из них связан с исследованиями Джозефа Райна. Это американский ученый 50-х годов, который занимался исследованиями возможностей экстрасенсорного восприятия. Для того чтобы исследовать экстрасенсов, нужно сначала где-то их взять. Поэтому первый этап таких исследований — это всегда поиск экстрасенсов. Джозеф Райн придумал следующий эксперимент. Испытуемому предлагалось угадать цвета десяти карт, лежащих рубашкой вверх. Проверялась нулевая гипотеза о том, что испытуемый выбирает свой ответ наугад. Против альтернативы, что он может предсказывать цвета карт. Статистика t — число карт, цвета которых угаданы при справедливости нулевой гипотезы имеет биномиальное распределение с параметрами 10 (это объем выборки) и 1/2, поскольку цвета у нас только два, и они называются наугад. Сумма вероятности исходов от 9 и больше в этом биномиальном нулевом распределении равна 11 * 1/2 в десятой. Это примерно 0,01. То есть, если испытуемый угадывает 9 карт, мы получаем достигаемый уровень значимости 0,01 и можем с чистой совестью отклонять нулевую гипотезу в пользу односторонней альтернативы. В экспериментах Джозефа Райна процедуру отбора прошли 1000 человек. Девять из них угадали цвета 9 из 10 карт, еще двое угадали все 10 карт. Ни один из этих испытуемых в последующих экспериментах не подтвердил своих способностей, из чего Джозеф Райн сделал вывод, что экстрасенсам нельзя говорить о том, что они экстрасенсы, потому что от этого их способности сразу пропадают. Мы с вами понимаем, что проблема в чем-то другом. Давайте примем гипотезу о том, что экстрасенсов не существует. В этом случае вероятность того, что из тысячи человек хотя бы один случайно угадает цвета 9 или 10 из 10 карт равна 1 − (1 − 11 * 1/2 в десятой) и все это в степени 1000. Эта вероятность равна примерно 1. Если мы посмотрим, как эта вероятность ведет себя в зависимости от количества испытуемых, мы увидим, что она растет очень быстро. Уже при 100 испытуемых мы найдем хотя бы одного экстрасенса с вероятностью больше 1/2. При 500 испытуемых вероятность найти хотя бы одного экстрасенса этой процедурой уже равна примерно единице. То, что с помощью этой статистической процедуры мы находим экстрасенсов, является прекрасным примером эффекта множественной проверки гипотез. Если мы проверяем одновременно большое количество гипотез, у нас вероятность совершить хотя бы одну ошибку первого рода, то есть ложно отвергнуть верную нулевую гипотезу, становится очень большой. Еще один яркий пример действия эффекта множественной проверки гипотез можно найти в нейронауке. Представьте, что мы анализируем данные позитронно-эмиссионной томографии или функциональной магнитно-резонансной томографии. Типичный дизайн эксперимента с такими данными следующий: мы берем контрольную группу испытуемых, с которыми ничего не происходит, и измеряем активность их мозга. Потом мы берем группу испытуемых, состояние которых мы каким-то образом поменяли, измеряем также их активность мозга. Дальше сравниваем эти две выборки данных, пытаясь выяснить, на какие области мозга подействовало различие между нашими двумя экспериментальными условиями. Решение такой задачи связано с проверкой очень большого количества гипотез. Фактически для двумерного изображения мозга мы проверяем гипотезу в каждой точке, для трехмерного изображения мозга, которая возникает при магнитно-резонансной томографии, мы проверяем гипотезу в каждом вокселе, то есть в каждом трехмерном пикселе трехмерного изображения мозга. Пикселей могут быть тысячи, вокселей могут быть миллионы. Таким образом, нам нужно проверить очень много гипотез. И если ничего не делать, эффект множественной проверки гипотез будет проявляться очень ярко. Лучше всего это видно на следующем примере. В нем команда исследователей воспроизвела один из типичных дизайнов нейронаучных экспериментов, в котором испытуемому последовательно и много раз демонстрируются похожие стимулы, затем активность его мозга в ответ на эти стимулы сравнивается с активностью его мозга в состоянии покоя. В эксперименте роль испытуемого играл мертвый лосось. В качестве стимула ему показывали картинки с изображениями людей в различных социальных ситуациях. Как мы видим, задача поиска областей, которые реагируют на этот стимул, была решена успешно. В мозге лосося, в том числе и, кажется, в спинном, были выявлены некоторые области, которые на рисунке обозначены красным, в которых активность значимо изменилась. За последнее десятилетие методы анализа данных в нейронауке, в том числе методы поправки на множественную проверку гипотез, существенно улучшились. Вот о таких методах в этом уроке мы и будем говорить. О том, что делать в ситуациях, когда вы проверяете много гипотез и как вам сделать меньше нелепых выводов при этом.
