Эконометрика – наука, позволяющая исследовать закономерности в реальных данных. К концу курса мы научимся отвечать на два вопроса. Как одна переменная, y, зависит от другой переменной, x? Как спрогнозировать переменную y? Мы будем подробно изучать линейные регрессионные модели, рассмотрим наиболее частые отклонения от предпосылок классической линейной регрессии. Изучим базовые модели (логит и пробит) для качественных зависимых переменных. Наряду с теоретической основой мы будем работать с реальными данными, используя статистический пакет R. Необходимые знания: Теория вероятностей и математическая статистика. Линейная алгебра опционально.
2.1.8. Доказательство формулы для ковариационной матрицы [у доски, линал]
Loading...
來自 National Research University Higher School of Economics 的課程
Эконометрика (Econometrics)
310 個評分
從本節課中
Статистические свойства оценок коэффициентов
Бета с крышкой - друг и враг эконометриста :)
與講師見面
Boris DemeshevSenior Lecturer
Department of Applied Economics
Этот фрагмент особо полезен тем, кто знает линейную алгебру.
Оказывается, средствами линейной алгебры легко не только сразу
посчитать дисперсию β1 с крышкой или β2 с крышкой,
одним махом можно найти все эти дисперсии и все ковариации.
Они все находятся в этой ковариационной матрице.
Действительно, это матрица, которая устроена следующим образом.
Здесь находится дисперсия β1 с крышкой при фиксированном X,
дальше идет ковариация β1 с крышкой β2 с крышкой при фиксированном X и так далее.
Здесь идёт ковариация — вторая срока,
первый столбец — β2 с крышкой с β1 с крышкой при фиксированном X,
дальше идёт дисперсия β2 с крышкой при фиксированном X и так далее.
И заканчивается это всё дисперсией βk с крышкой при фиксированном X.
Оказывается, очень компактная формула в терминах линейной алгебры
есть для этой матрицы.
βk с крышкой при фиксированном X.
И здесь точно такое же, ковариационная матрица, она всегда симметричная.
β1 с крышкой βk с крышкой при фиксированных регрессорах.
Ну чтобы понять, как легко получить эту формулу,
нам сначала надо понять, какими свойствами обладает ковариационная матрица.
Значит, во-первых, свойства ковариационных матриц.
Во-первых, посмотрим, какие есть свойства у математического ожидания.
Вот если у меня есть математическое ожидание от вектора,
то это имеется в виду вектор из математических ожиданий.
И у математического
ожидания свойства совершенно аналогичные,
у векторного математического ожидания свойства совершенно аналогичные скалярным.
Ну то есть для одномерных случайных величин, одномерные случайные величины,
было свойство: математическое ожидание от a на у равняется
a (давайте y1 напишем) на математическое ожидание y1.
В многомерном случае, многомерные случайные величины,
здесь несколько дело обстоит посложнее,
поскольку a — это должна быть матрица, и важен порядок умножения матриц.
Тут будет два свойства.
E(A) * y будет равняться A * E(y), это нетрудно доказать,
но это достаточно интуитивно.
И второе свойство, что если у меня y умножается на матрицу B,
B с другой стороны, то и выносить B можно только направо из математического
ожидания: E(y) * B.
Соответственно, как можно
определить вот эту самую ковариационную
матрицу от вектора β с крышкой при фиксированном X?
Это есть не что иное, как условное...
Это определение ковариационной матрицы,
его выражение через математическое ожидание.
Это математическое ожидание вектора β с крышкой на вектор β с крышкой
транспонированное при фиксированном X минус
математическое ожидание от β с крышкой при фиксированном
X на математическое ожидание β с крышкой транспонированное при фиксированном X.
Эта формула является обобщением одномерной формулы,
что дисперсия y1 при
фиксированном X — это
есть математическое ожидание от y1-квадрат при
фиксированном X минус математическое
ожидание от y1 при фиксированном X, взятое в квадрат.
Соответственно, вернёмся к этому обобщению.
Что мы получаем?
Мы получаем такое важное свойство.
Если скомбинировать свойство математического ожидания и определение,
то мы получим такое важное свойство ковариационной матрицы.
Ковариационная матрица A на β с крышкой при фиксированном X равняется:
математическое ожидание от A на β с крышкой помножить
A на β с крышкой транспонированное при фиксированном
X минус математическое ожидание от A на β с крышкой
при фиксированном X на математическое ожидание от A на β
с крышкой потом транспонированное при фиксированном X.
При транспонировании меняется порядок следования матриц,
меняется порядок, в котором они умножаются.
И мы получаем, что это есть...
Дальше из этого математического ожидания наружу вылезет A,
а вот здесь поменяется порядок.
И если налево будет вылезать A,
то вот из этого сомножителя направо будет вылезать A транспонированное.
Здесь тоже A вылезет налево,
а вот здесь вот направо вылезет A транспонированное.
И получится: A помножить
на E от β с крышкой на β с крышкой транспонированное
при фиксированных X минус E от β с крышкой при
фиксированных X на E от β с крышкой транспонированное
при фиксированных X и еще помножить на A транспонированное.
И получится у нас такое замечательное свойство.
A вышла налево, посерёдке осталась ковариационная
матрица вектора β с крышкой, а справа появилась A транспонированная.
То есть аналогом формулы: дисперсия
a на y1 при фиксированном X — a-квадрат
на дисперсию y1 при фиксированном X,
— аналогом этой формулы выступает следующая:
ковариационная матрица A на вектор y при фиксированном X
равняется A на ковариационную матрицу y при
фиксированном X
умножить на A транспонированную.
И этого свойства нам будет совершенно достаточно,
чтобы посчитать вот эту самую ковариационную матрицу
оценок коэффициентов β с крышкой в общем виде.
Ну давайте попробуем.
Я напомню, что β с крышкой равняется X'X в минус первой X'y.
И у нас есть предпосылка,
что ковариационная матрица вектора
ε при фиксированных X имеет вид σ-квадрат умножить на единичную.
Ну и, конечно же, у нас в матричном виде наша
модель записывается как y равняется X на β плюс ε.
На первом шаге, шаг 1,
мы найдём ковариационную матрицу вектора y при фиксированных X.
Это есть ковариационная матрица вектора X на β плюс ε при фиксированных X.
Но если X фиксированы, то вот это — это просто константа.
Константы не влияют ни на дисперсии, ни на ковариации, которые «живут» в этой
матрице, поэтому их можно просто не писать.
Это есть ковариационная матрица вектора ε при фиксированных X, и это есть,
по предположению, σ-квадрат умножить на единичную матрицу.
И остался шаг 2.
Ковариационная матрица вектора β с крышкой при фиксированных
X равняется:
ковариационная матрица вектора X'X в минус первой
X'y при фиксированных X.
Это какая-то одна здоровая матрица констант.
Поскольку у нас регрессоры, иксы,
считаются константами, мы выносим ее — налево, и направо — транспонированную.
Получаем X'X в минус первой X' умножить на
ковариационную матрицу вектора y при фиксированных X умножить на
X'X в минус первой X' транспонированная.
Равняется, это так и остаётся,
X'X в минус первой X', это получается σ-квадрат умножить на единичную матрицу.
А здесь надо транспонировать.
При транспонировании меняется порядок, и надо ещё раз транспонировать.
Значит, вот этот X — он станет первым, а вот эта матрица встанет направо.
То есть вот эта и вот эта матрица поменяются местам,
и надо будет ещё транспонировать.
Ну X транспонированный транспонированное будет просто X.
А эта матрица — она симметричная.
Ну потому что, действительно, X транспонированное X,
если ее транспонировать, будет...
Переставляем местами и довешиваем транспонирование.
X транспонированное на X, дважды транспонированное, это X'X.
То есть вот эта матрица симметричная, её можно не транспонировать.
Получаем X'X в минус первой.
И замечаем, что единичную матрицу можно при умножении не писать.
Константу можно вынести вперёд.
И получится: σ-квадрат умножить на X'X в
минус первой X' на X на X'X в минус первой.
Вот эти матрицы обратные, при умножении они взаимно уничтожатся,
и останется готовый приятный ответ: σ-квадрат на X'X в минус первой.
Соответственно, мы пришли к выводу, что ковариационная матрица вектора
β с крышкой при фиксированных X имеет вид σ-квадрат помножить на X'X в минус первой.
В этой матрице находятся и дисперсии условные каждого β с крышкой,
и ковариации каждого β с крышкой с каждым β с крышкой.
И в скалярном виде мы их выводили долго по отдельности и только для случая
парной регрессии, а в матричном виде они выводятся легко, все и сразу,
и этой формулой можно будет пользоваться.
