[БЕЗ ЗВУКА] Этот
урок посвящен проблеме множественной проверке гипотез.
Для того чтобы понять, в чем эта проблема заключается,
давайте рассмотрим несколько примеров.
Первый из них связан с исследованиями Джозефа Райна.
Это американский ученый 50-х годов,
который занимался исследованиями возможностей экстрасенсорного восприятия.
Для того чтобы исследовать экстрасенсов, нужно сначала где-то их взять.
Поэтому первый этап таких исследований — это всегда поиск экстрасенсов.
Джозеф Райн придумал следующий эксперимент.
Испытуемому предлагалось угадать цвета десяти карт, лежащих рубашкой вверх.
Проверялась нулевая гипотеза о том, что испытуемый выбирает свой ответ наугад.
Против альтернативы, что он может предсказывать цвета карт.
Статистика t — число карт, цвета которых угаданы при справедливости
нулевой гипотезы имеет биномиальное распределение с параметрами 10 (это
объем выборки) и 1/2, поскольку цвета у нас только два, и они называются наугад.
Сумма вероятности исходов от 9 и больше в этом биномиальном
нулевом распределении равна 11 * 1/2 в десятой.
Это примерно 0,01.
То есть, если испытуемый угадывает 9 карт,
мы получаем достигаемый уровень значимости 0,01 и можем с чистой совестью
отклонять нулевую гипотезу в пользу односторонней альтернативы.
В экспериментах Джозефа Райна процедуру отбора прошли 1000 человек.
Девять из них угадали цвета 9 из 10 карт, еще двое угадали все 10 карт.
Ни один из этих испытуемых в последующих экспериментах не подтвердил своих
способностей, из чего Джозеф Райн сделал вывод, что экстрасенсам нельзя говорить о
том, что они экстрасенсы, потому что от этого их способности сразу пропадают.
Мы с вами понимаем, что проблема в чем-то другом.
Давайте примем гипотезу о том, что экстрасенсов не существует.
В этом случае вероятность того, что из тысячи человек хотя бы один
случайно угадает цвета 9 или 10 из 10 карт равна
1 − (1 − 11 * 1/2 в десятой) и все это в степени 1000.
Эта вероятность равна примерно 1.
Если мы посмотрим, как эта вероятность ведет себя в зависимости от количества
испытуемых, мы увидим, что она растет очень быстро.
Уже при 100 испытуемых мы найдем хотя бы одного экстрасенса
с вероятностью больше 1/2.
При 500 испытуемых вероятность найти хотя бы одного экстрасенса этой
процедурой уже равна примерно единице.
То, что с помощью этой статистической процедуры мы находим экстрасенсов,
является прекрасным примером эффекта множественной проверки гипотез.
Если мы проверяем одновременно большое количество гипотез,
у нас вероятность совершить хотя бы одну ошибку первого рода,
то есть ложно отвергнуть верную нулевую гипотезу, становится очень большой.
Еще один яркий пример действия эффекта множественной проверки гипотез можно найти
в нейронауке.
Представьте, что мы анализируем данные позитронно-эмиссионной
томографии или функциональной магнитно-резонансной томографии.
Типичный дизайн эксперимента с такими данными следующий: мы берем контрольную
группу испытуемых, с которыми ничего не происходит,
и измеряем активность их мозга.
Потом мы берем группу испытуемых, состояние которых мы каким-то образом
поменяли, измеряем также их активность мозга.
Дальше сравниваем эти две выборки данных, пытаясь выяснить, на какие
области мозга подействовало различие между нашими двумя экспериментальными условиями.
Решение такой задачи связано с проверкой очень большого количества гипотез.
Фактически для двумерного изображения мозга мы проверяем гипотезу в
каждой точке, для трехмерного изображения мозга, которая возникает
при магнитно-резонансной томографии, мы проверяем гипотезу в каждом вокселе,
то есть в каждом трехмерном пикселе трехмерного изображения мозга.
Пикселей могут быть тысячи, вокселей могут быть миллионы.
Таким образом, нам нужно проверить очень много гипотез.
И если ничего не делать,
эффект множественной проверки гипотез будет проявляться очень ярко.
Лучше всего это видно на следующем примере.
В нем команда исследователей воспроизвела один из типичных дизайнов
нейронаучных экспериментов, в котором испытуемому последовательно и
много раз демонстрируются похожие стимулы, затем активность его мозга в ответ
на эти стимулы сравнивается с активностью его мозга в состоянии покоя.
В эксперименте роль испытуемого играл мертвый лосось.
В качестве стимула ему показывали картинки с изображениями людей в
различных социальных ситуациях.
Как мы видим, задача поиска областей, которые реагируют на этот стимул,
была решена успешно.
В мозге лосося, в том числе и, кажется, в спинном, были выявлены некоторые области,
которые на рисунке обозначены красным, в которых активность значимо изменилась.
За последнее десятилетие методы анализа данных в нейронауке, в том числе
методы поправки на множественную проверку гипотез, существенно улучшились.
Вот о таких методах в этом уроке мы и будем говорить.
О том, что делать в ситуациях, когда вы проверяете много гипотез и как вам
сделать меньше нелепых выводов при этом.
Evgeniy Riabenko
Evgeny Sokolov
Victor Kantor
Emeli Dral
