Влияет ли знание методов анализа данных на уровень заработной платы? Работает ли система оценки кредитоспособности клиентов банка? Действительно ли новый баннер лучше старого? Чтобы ответить на такие вопросы, нужно собрать данные. Данные почти всегда содержат шум, поэтому утверждения, которые можно сделать на их основе, верны не всегда, а только с определённой вероятностью. Строить наиболее корректные выводы и численно оценивать степень уверенности в них помогают методы статистики. Как можно оценивать неизвестные параметры системы по небольшому количеству наблюдений? Как измерить точность таких оценок? Какие данные нужны, чтобы ответить на ваш вопрос, и на какие вопросы можно ответить с помощью уже имеющихся данных? Вы узнаете все, что нужно для успешного превращения данных в выводы — организация экспериментов, A/B-тестирование, универсальные методы оценки параметров и проверки гипотез, корреляции и причинно-следственные связи.
Ранговые критерии
Loading...
From the course by 莫斯科物理科学与技术学院
Построение выводов по данным
446 ratings
From the lesson
АБ-тестирование
Вторая неделя посвящена задачам АБ-тестирования — статистической технике, позволяющей оценить действие изменений в вашем продукте на конечного пользователя. Вы узнаете, как правильно такой эксперимент строить и какими методами анализировать.
Meet the Instructors
Evgeniy RyabenkoSenior Data Scientist, Veon, Amsterdam
Evgeny Sokolov
Victor Kantor
Emeli Dral
Для проверки гипотез
о средних критерии знаков выбрасывают большую часть информации,
содержащуюся в выборке.
Вместо исходных значений признака мы получаем бинарный вектор.
Критерии, которые мы рассмотрим в этом видео – ранговые критерии – позволяют
сохранить больше информации.
Давайте для начала вспомним, что такое ранги.
Если у нас есть выборка, мы всегда можем превратить её в вариационный ряд,
то есть упорядочить её по не убыванию.
Если при этом возникают какие-то куски вариационного ряда,
в котором элементы полностью совпадают, эти куски называются «связками».
Рангом наблюдения Xi называется его позиция в вариационном ряду.
Если оно не попадает в связку, то это буквально его номер в вариационном ряду.
А если Xi оказывается в связке, начиная от k1 до k2 элемента
вариационного вариант, то его рангом будет среднее между k1 и k2.
То есть в связке все объекты получают одинаковый средний ранг.
Использовать ранги мы будем в следующей задаче: перед вами 24 шайбы,
произведённые на одном и том же конвейере, для которых мы измерили диаметры.
По этой выборке мы хотим понять соответствует ли диаметр шайбы
стандартному размеру в 10 миллиметров.
Для этого мы будем использовать критерии знаковых рангов,
или еще иногда его называют критерием знаковых рангов Уилкоксона.
Он принимает на вход выборку объёма n,
в котрой нет ни одного элемента в точности равного m0.
И, кроме того, мы предполагаем, то распределение случайной величины,
из которой эта выборка взята, симметрична относительно своей медианы.
Проверяется нулевая гипотеза о том, что медиана
равна константе m0 против любой односторонней, двусторонней альтернативы.
И делается это с помощью следующей статистики.
Статистика W критерия знаковых рангов строится следующим образом: мы берём нашу
выборку, вычитаем из неё m0, берём от всего модули,
строим по полученным модулям вариационный ряд и считаем ранги,
далее суммируем эти ранги со знаками разностей Xi и m0.
Если нулевая гипотеза справедлива, такая статистика имеет табличное распределение.
Откуда, как вы думаете, оно берётся?
Ответ очень прост: дело в том,
что при справедливости нулевой гипотезы, каждый из рангов в нашей выборке мог
с одинаковой вероятностью реализоваться с любым знаком: и с «+», и с «−».
Таким образом, мы получаем 2 в степени n вариантов распределения знаков по рангам.
Переберём все эти варианты,
и на каждом из этих вариантов знаков посчитаем значение статистики.
Именно так строится нулевое распределение.
Если у нас выборка объёма 5,
нулевое распределение статистики знаковых рангов выглядит вот так.
Если объём выборки равен 10, то вот так.
Если 15, вот так.
Вы ничего не заподозрили?
Нулевое распределение нашей статистики становится похожим на нормальное,
с ростом объёма выборки.
Действительно, для него можно использовать нормальную аппроксимацию.
Если у вас выборка объёмом больше 20,
вот таким нормальным определением можно аппроксимировать нулевое.
Задачей с диаметром шайбы мы проверяем нулевую гипотезу о том, что средний размер
шайбы составляет 10 миллиметров, против двусторонней альтернативы.
Критерий знаковых рангов даёт достигаемый уровень значимости 0.067,
то есть нулевая гипотеза не отвергается.
Выборочная медиана диаметра составляет 10.5 миллиметров.
95-процентный доверительный интервал для него – от 9.95 до 11.15 миллиметров.
Доверительной интервал содержит наше m0 целевое значение – 10.
Как и должно быть, когда достигаемый уровень значимости больше порога.
После всего, что вы уже видели в этом курсе, вас не должно удивить,
что двухвыборочная задача со связанными выборками решается ровно тем же самым
критерием, что и одновыборочная.
Перед вами версия критерия знаков для двух связанных выборок.
Проверяется нулевая гипотеза о том,
что медиана разности X1 и X2 равна нулю 0 против произвольной альтернативы,
и делается это с помощью статистики, в которой суммируются ранги
модулей попарных разностей X1 и X2 со знаками этих разностей.
Нулевое распределение этой статистики абсолютно такое же.
Рассмотрим следующую задачу: перед вами депрессивность 9 пациентов,
измеренная по шкале Гамильтона до и после первого приёма транквилизатора.
Мы хотим понять, действует ли транквилизатор,
то есть снижается ли у этих пациентов депрессивность.
Формально мы будем проверять нулевую гипотезу о том, что медиана попарных
разностей наших депрессивностей до и после приёма транквилизаторов равна 0.
И будем эту проверку делать против односторонней альтернативы, о том,
что эта медиана меньше 0, то есть депрессивность снизилась.
Критерий из знаковых рангов даёт достигаемый уровень значимости 0.019,
то есть нулевая гипотеза в пользу нашей односторонней альтернативы отвергается.
Медиана снижения составляет 0.49 пунктов.
95-процентный нижний доверительный предел для снижения – 0.175 пунктов.
Рассмотрим теперь задачу с независимыми выборками.
В этой задаче признак, который мы будем измерять, это респираторный обмен –
соотношение числа молекул углекислого газа и кислорода в выдыхаемом воздухе.
Этот респираторный обмен является косвенным признаком того, из чего
в данный момент ваши мышцы вырабатывают энергию – из жиров или из углеводов.
В эксперименте мы измеряем респираторный обмен
у 18 испытуемых в процессе физических упражнений.
За час до этого 9 из них получили таблетку кофеина,
а оставшиеся 9 – таблетку плацебо.
Мы хотим понять,
повлиял ли кофеин на среднее значение показателей респираторного обмена.
Эту задачу можно решить с помощью критерия Манни-Уитни,
который ещё иногда называется критерием Уилкоксона Манни-Уитни.
Он принимает на вход независимые выборки, и проверят нулевую гипотезу о том,
что распределение величины, с которых эти выборки взяты,
полностью в точности совпадают.
Делает он это он против альтернативы сдвига, то есть,
что распределение совпадает с точностью до аддитивного параметра дельта.
Про этот параметр дельта мы можем предполагать, что он больше 0,
меньше 0 или не равен 0.
То есть альтернатива, таким образом, может быть односторонней и двусторонней.
Если справедлива альтернативная гипотеза и между распределениями действительно
есть сдвиг, то средние значения признаков в наших выборках будут различаться.
Поэтому это тоже в каком-то виде гипотеза о средних.
Для того чтобы построить статистику критерия Манни-Уитни,
мы возьмём наши две выборки и свалим их в одну кучу.
Для этой объединенной выборки построим вариационный ряд,
посчитаем ранги, а далее статистикой будет сумма рангов
элементов первой выборки в объединенном вариационном ряду.
Нулевое распределение этой статистики тоже табличное.
Давайте снова подумаем, откуда оно может взяться.
Если нулевая гипотеза справедлива, то каждый из рангов с
одинаковой вероятностью мог реализоваться как в выборке X1, так и в выборке X2.
Переберём все возможные варианты того, как это могло произойти.
Всего таких вариантов C (n1 + n2) по n1.
На каждом из этих вариантов посчитаем значение статистики критериz Манни-Уитни.
Именно так мы получим нулевое распределение.
Вот так выглядит нулевое распределение в случае,
когда у вас в первой выборке три объекта, а во второй четыре.
Вот так, когда у вас в обоих выборках по пять объектов.
Вот так, когда по десять.
Мы снова сходимся к нормальному распределению.
Для критерия Манни-Уитни также справедлива нормальная аппроксимация
нулевого распределения, которая работает,
если в каждой из выборок по меньшей мере десять объектов.
В задаче с кофеином и респираторным обменом мы проверяем нулевую гипотезу о
том, что среднее значение показателей в двух группах не отличаются,
и делаем это против двухсторонней альтернативы.
Критерий Манни-Уитни даёт нам достигаемый уровень значимости 0.0521.
Это совсем немного больше нашего стандартного уровня значимости в 0.05
Сдвиг между средними значениями показателей в двух выборках составляет 6
пунктов, но 95-процентный доверительный интервал для этого сдвига от величины,
которая примерно равна 0, но чуть-чуть меньше него, до 12,
то есть в этот доверительный интервал – 0 – всё-таки попадает.
Мы не можем отвергнуть нулевую гипотезу.
Итак, в этом видео мы разобрались с ещё одним непараметрическим семейством
критериев, проверяющих гипотезы о средних.
Это ранговые критерии и наблюдения в выборках они превращают в ранги,
то есть какая-то часть информации всё равно теряется, но сохраняется больше,
чем у критериев знаков.
За использование этой информации мы, к сожалению,
вынуждены платить дополнительными предположениями о
характере распределения случайных величин, из которых выборки взяты.
Мы разобрали три ранговых критерия: это критерии знаковых рангов, одновыборочные
для связанных выборок, и критерии Манна-Уитни для выборок независимых.
В следующим видел мы поговорим про перестановочные критерии,
которые действуют в условиях тех же самых предположений,
что и ранговые, но не теряют вообще никакой информации.
Coursera provides universal access to the world’s best education,
partnering with top universities and organizations to offer courses online.
© 2018 Coursera Inc. All rights reserved.
