Автокорреляция порядка p — это
более богатая модель для структуры зависимости между ε,
а именно: предполагается, что ε_t — это φ_1 ε_{t‒1} + φ_2 ε_{t‒2} + ...
+ φ_p ε_{t‒p} + новая случайная составляющая u_t, которая
удовлетворяет тем же предпосылкам:
u_t независимы между собой, независимы от регрессоров, одинаково распределены,
нулевое математическое ожидание, постоянная дисперсия σ² u.
В отличие от автокорреляции первого порядка,
автокорреляция порядка p допускает более сложную структуру
корреляций между ε_t и ε_{t‒k}, между ε_i и ε_j.
Если раньше корреляция между ε_t и ε_{t‒k} — это просто было ρ в степени k,
то есть она убывала по модулю, то сейчас корреляция не обязана сразу
начинать убывать, она может принимать довольно произвольные значения,
хотя общий факт сохраняется: предел Corr(ε_t, ε_{t‒k})
при k, стремящемся к бесконечности, равен 0.
То есть это означает, что если расстояние по времени между наблюдениями
очень велико, то сила зависимости между ними будет маленькой,
то есть зависимость между ε_t и ε_{t‒k}
убывает с ростом расстояния по времени, предел равен 0.
Посмотрим, как взаимодействует предпосылка об автокорреляции с другими предпосылками.
Во-первых, автоматом оказывается нарушена предпосылка о
независимости отдельных наблюдений.
То есть раньше мы говорили, что вектор из всех объясняющих переменных
и зависимые переменные, относящиеся к наблюдению i, и такой же вектор,
относящийся к наблюдению j, были независимы и одинаково распределены.
Теперь они зависимы, хотя по-прежнему и будут одинаково распределены.
И, во-вторых, очень часто во временных рядах нарушена
предпосылка о строгой экзогенности: о том, что E(ε_t|X) = 0.
Как правило, эта предпосылка нарушена.
Могут быть отдельные редкие исключения, в которых она не нарушена,
а мы для простоты будем предполагать ситуацию, что эта предпосылка не нарушена.
Хотя, например, даже включение предыдущей зависимой переменной в регрессоры,
например, наличие y_{t‒1} среди регрессоров,
автоматически означает нарушение предпосылки о строгой экзогенности.
Для возможности включения прошлого
значения зависимой переменной в регрессоры есть два подхода.
Первый подход — это ослабить предпосылки,
и второй подход — это использовать принципиально другой метод,
метод максимального правдоподобия, и работать с ним,
а не с методом наименьших квадратов и не с его свойствами.
В основном,
большая часть временных рядов построена на методе максимального правдоподобия,
поэтому мы не будем разбирать варианты с ослаблением предпосылок, которые подходит
для того, чтобы принять метод наименьших квадратов для временных рядов.
Итак, посмотрим, что произойдёт, если мы будем использовать прежние формулы для
оценок коэффициентов, для стандартных ошибок, а в ε_t будет
автокорреляция порядка p.
Итак, для оценок мы используем классическую формулу β с крышкой равно
(X'X)^(-1)X'y.
И для оценки ковариационной матрицы — снова RSS, сумма квадратов остатков,
делить на n ‒ k, помножить на (X'X)^(-1).
В частности, это означает использование для оценки дисперсии,
оценки j-того коэффициента, σ² с крышкой, деленное на RSS_j,
где RSS_j — это RSS в регрессии j-того регрессора на остальные регрессоры.
Напомним, что у нас было три группы свойств,
которые возникали при использовании этих формул и выполненных
стандартных предпосылках, а именно: у нас были свойства,
связанные с конечной выборкой без предположения о нормальности ε, свойства
для конечных выборок с предположением о нормальности ε и асимптотические
свойства для больших выборок, то есть когда n стремится к бесконечности.
Рассмотрим, что происходит с каждой группой свойств.
Для конечной выборки без предположения о нормальности ε сохраняется
свойство линейности по y, сохраняется условная несмещённость,
то есть математическое ожидание от β с крышкой при фиксированных X равно β.
Это хорошее свойство, это говорит о том, что наши оценки, которые мы получаем,
β с крышкой, могут оказаться выше, чем неизвестные β, могут оказаться ниже,
чем неизвестные β, но в среднем мы попадаем в неизвестные интересующие нас β.
Оценки как и в случае гетероскедастичности неэффективны: здесь
автокорреляция очень похожа по своим последствиям на гетероскедастичность.
Что касается конечной выборки с предположением о нормальности ε,
здесь мы теряем все свойства, которые были при
выполнении всех предпосылок классической линейной модели регрессии.
То есть распределение t-статистики уже не является t-распределением,
распределение RSS делить на σ² не является хи-квадрат распределением в
точности, и, соответственно, распределение F-статистики,
проверявшей гипотезу о совпадении ограниченной и неограниченной моделей,
также не является в точности F-распределением.
Асимптотические свойства отчасти сохраняются.
В частности, при наличии авторегрессионной схемы порядка p,
фиксированного порядка p в ошибках, β с крышкой по-прежнему
являются состоятельными оценками для β, то есть с ростом количества наблюдений,
если у вас достаточно много наблюдений, то оценки, которые вы получаете,
β с крышкой, будут очень похожи на настоящие β.
Но, к сожалению, проверять гипотезы по стандартным формулам не
получается даже при большом количестве наблюдений.
Даже если n стремится к бесконечности,
t-статистика не становится нормально распределённой.
Вкратце подвести итог последствиям можно следующим образом.
Сами β с крышкой, сами оценки коэффициентов, в условии
автокорреляции можно интерпретировать как и раньше и использовать.
Однако стандартные ошибки, считаемые по стандартным формулам,
несостоятельны, и пооэтому мы не можем, используя обычные формулы,
строить доверительные интервалы для неизвестных коэффициентов и
проверять гипотезы.
