В соответствии с одной из предпосылок МНК нужно, чтобы дисперсия остатков была гомоскедастичной. Это означает, что для каждого значения фактора X остатки е, имеют одну и ту же дисперсию. Если это условие не соблюдается, то имеет место гетероскедастичность. Наличие гетероскедастичности можно наглядно продемонстрировать на поле корреляции (см. рис.).

Гомоскедастичность остатков означает, что дисперсия остатков одна и та же для каждого значения X. Используя трехмерное изображение, можно получить следующие графики, которые проиллюстрируют гомо- и гетероскедастичность

Рисунок с гомоскедастичностью показывает, что для каждого значения Х, распределения остатков одинаково в отличие от гетероскедастичности.

Для множественной регрессии вид графиков является наиболее наглядным способом изучения гомо- и гетероскедастичности.

Наличие гетероскедастичности может в ряде случаях привести к смещенности оценок коэффициентов регрессии, хотя несмещенность оценок коэффициентов регрессии, как правило, зависит от соблюдения второй предпосылки МНК, т. е. независимости остатков и величин факторов. Гетероскедастичность будет сказываться на уменьшении эффективности оценок b. В ча-стности, становится затруднительным использование формулы стандартной ошибки коэффициента регрессии Sb, которая предполагает единую дисперсию остатков для любых значений фактора.

Определение гетероскедастичности

При малом объеме выборки, что характерно для большинства , для оценки гетероскедастичости используют метод Гольдфельда - Квандта, который был разботан в 1965 г. Гольдфельдом и Квандтом, где они рассмотрели однофакторную линейную модель, для которой дисперсия остатков возрастает пропорционально квадрату фактора. Чтобы оценить нарушение гомоскедастичности, они предложили выполнить следующие операции.

1. Упорядочить наблюдения по мере возрастания фактора Х.
2. Исключить из рассмотрения С центральных наблюдений, причем (n - С): 2 > р, где р - число оцениваемых параметров.
3. Разделить совокупность из (n - С) наблюдений на две группы (с малыми и большими значениями фактора X).
4. Определить остаточную сумму квадратов для первой (S1) и второй (S2) групп и нахождение отношения: R = S1: S2.

При выполнении нулевой гипотезы о гомоскедастичности отношение R будет удовлетворять критерию Фишера с (n - С - 2p) : 2 степенями свободы для каждой остаточной суммы квадратов. Чем больше величина R превышает табличное значение F-критерия, тем в большей степени нарушена предпосылка о равенстве дисперсий остаточных величин.

Лекция 5. Гетероскедастичность и автокорреляция регрессионных остатков

Литература:

Эконометрика: учебник / И.И. Елисеева, С.В. Курышева, Т.В. Костеева и др.; под ред. И.И. Елисеевой. – М.: Финансы и статистика, 2006.

Бородич С.А. Эконометрика: учебное пособие. – Минск: ООО «Новое знание», 2005 – 408с.

Еремеева Н.С., Лебедева Т.В. Эконометрика: учебн. Пособие для вузов. – Оренбург: ОАО «ИПК «Южный Урал», 2010. – 296 с.

Кремер Н.Ш. Эконометрика: учебник (Н.Ш. Кремер, Б.А. Путко). – М.: ЮНИТИ-ДАНА, 2006 – 311с.

1. Гетероскедастичность. Тесты на гетероскедастичность

2. Автокорреляция регрессионных остатков. Методы выявления

3. Обобщенный метод наименьших квадратов для смягчения гетероскедастичности и устранения автокорреляции

Для получения качественных оценок параметров уравнения регрессии необходимо следить за выполнимостью предпосылок МНК. Применяя МНК мы предполагаем, что остатки ε i подчиняются условиям Гаусса-Маркова, данное предположение необходимо проверить, после построения уравнения регрессии.

1. Гетероскедастичность. Тесты на гетероскедастичность

Допущение о постоянстве дисперсии остатков известно какдопущение о гомоскедастичности. Если это допущение нарушено и дисперсия остатков не является постоянной, то говорят, что оценки гетероскедастичны.

На практике, для каждого i-го наблюдения определяется единственное значение ε i , но мы говорим об определении дисперсии остатков, т.е. о множестве ε i для каждого i-го наблюдения. Это объясняется тем, что мы имеем дело с выборочной совокупностью, а априори ε i могли принимать любые значения на основе некоторых вероятностных распределений.

Гетероскедастичность приводит к тому, что коэффициенты регрессии не являются оценками с минимальной дисперсией, следовательно, они больше не являются наиболее эффективными коэффициентами. Вследствие, выводы, получаемые на основе t и F-статистик, а также интервальные оценки будут ненадежными. Дисперсии и, следовательно, стандартные ошибки этих коэффициентов будут смещенными. Если смещение отрицательно, то оценочные стандартные ошибки будут меньше, чем они должны быть, а критерий проверки - больше чем в реальности. Таким образом, можно сделать вывод, что коэффициент значим, когда он таковым не является. И наоборот если смещение положительно, то оценочные ошибки будут больше чем они должны быть, а критерии проверки - меньше. Значит, возможно ошибочное принятие нулевой гипотезы.

Обнаружение гетероскедастичности

Существует несколько формальных тестов, позволяющих обнаружить гетероскедастичность (графический анализ остатков, тест ранговой корреляции Спирмена, тест Парка, тест Голфелда-Квандта, тест Уайта).

Графический анализ остатков

Использование графического представления отклонений позволяет определиться с наличием гетероскедастичности. В этом случае по оси абсцисс откладываются значения x i объясняющей переменной X (либо линейной комбинации объясняющих переменных

а по оси ординат либо отклонения ε i либо их квадраты , i = 1, 2, ..., п . Если все отклонения находятся внутри полуполосы постоянной ширины, параллельной оси абсцисс, это говорит о независимости дисперсий от значений переменной X и их постоянстве, т.е. в этом случае выполняются условия гомоскедастичности. Графический анализ отклонений является удобным и достаточно надежным в случае парной регрессии.

Обычно не ограничиваются визуальной проверкой гетероскедастичности, а проводят ее эмпирическое подтверждение.

Обнаружение гетероскедастичности в каждом конкретном случае является сложной задачей. Для знания дисперсий отклонений необходимо знать распределение случайной величины У, соответствующее выбранному значению х- { (для одного значения x t иметь набор значений У). На практике для каждого конкретного значения x i определяется единственное значение y v что не позволяет оценить дисперсию случайной величины У.

1 Бородич С. А. Эконометрика: учеб, пособие. Минск: Новое знание, 2001. С. 236.

Поэтому не существует какого-либо однозначного метода определения гетероскедастичности.

Для определения наличия в выборке гетероскедастичности рассмотрим следующие тесты: графический анализ остатков, тест ранговой корреляции Спирмена, тест Глейзера и тест Голдфельда - Квандта. Выбор обусловлен относительной простотой тестов и наиболее частым их употреблением.

Графический анализ остатков. Использование графического представления отклонений позволяет определиться с наличием или отсутствием в модели гетероскедастичности. В этом случае по оси абсцисс откладываются значения х х объясняющей переменной X, а в случае множественной регрессии - линейной комбинации объясняющих переменных

а по оси ординат - отклонения е,- или их квадраты ef, i- 1,2,..., п. Если все отклонения в, находятся внутри полосы постоянной ширины, а отклонения вf находятся внутри полуполосы постоянной ширины, параллельной оси абсцисс, это говорит о независимости дисперсий случайных отклонений ef от значений переменной X и их постоянстве, т.е. в этом случае выполняются условия гомоскедастичности. Отметим, что графический анализ отклонений является удобным и достаточно надежным в случае парной линейной регрессии. На рис. 5.2 приведен пример графика отклонений ef от соответствующего значения объясняющей переменной х х. Очевидно, что отклонения не укладываются в полуполосу постоянной ширины. В данной модели дисперсии случайных отклонений непостоянны. В модели присутствует гетероскедастичность.

Рис. 5.2. График отклонений случайной составляющей е? от величины объясняющей переменной х {

Тест ранговой корреляции Спирмена. Тест выполняется в предположении о том, что дисперсия случайного члена а, = а(е у) меняется с изменением значения х г Следовательно, абсолютные величины остатков е х и х г будут коррелированы. Для проверки того, что дисперсия случайного члена коррелирует с изменением.г, ранжируются величины.г, и |е,| и определяется коэффициент ранговой корреляции Спирмена

где Д - разность между рангами х, и |«г,-| {ранг - порядковый номер значения переменной в ранжированном ряду).

Проверка основной гипотезы # 0 (значимость г) проводится по Г-тесту:

Если У набл > ? кр = t a . v , то гипотеза Я 0 отклоняется, следовательно, имеет место гетероскедастичность. Критическое значение ? кр = t a . v берется по таблицам распределения Стыодента; здесь а - уровень значимости; v = п - 2 - число степеней свободы.

Тест Глейзера. В тесте Глейзера ошибка случайного члена базируется на более общих представлениях о значении объясняющей переменной. Например, ошибка случайного члена может аппроксимироваться выражением Gj = а + $х] + |е, |. Далее данная регрессионная зависимость оценивается при различных значениях параметра у, и выбирается наилучшая. Для оценок гетероскедастичность случайного отклонения аппроксимируется таким уравнением:

где Sj = е- - оценка ст г С помощью статистики Стьюдента проверяется основная гипотеза Я 0 - отсутствие гетероскедастичности. Гипотеза Я 0 отклоняется, если коэффициент b в уравнении (5.1) значимо отличается от нуля. Отметим, что для большинства экономических расчетов параметр у = 1.

Тест Голдфелда - Квандта. Тест выполняется в предположении о том, что стандартное отклонение а, = а(е;) пропорционально значению переменной X в этом наблюдении, т.е. of - o 2 xf,i =1,2,..., п. Второе предположение - е, имеет нормальное распределение и отсутствует автокорреляция остатков.

Последовательность выполнения теста Голдфелда - Квандта следующая.

• 1. Все п наблюдений упорядочиваются по величине X.
• 2. Вся упорядоченная выборка после этого разбивается на три группы

(подвыборки) размерностей k, (п - 2k), k соответственно ().

3. Оцениваются отдельно регрессии для первой подвыборки {k первых наблюдений) и для третьей подвыборки (k последних наблюдений). Если предположение о пропорциональности дисперсий отклонений значениям X верно, то дисперсия регрессии по первой подвыборке (сумма квадратов отклонений)

будет существенно меньше дисперсии регрессии по третьей подвыборке (суммы квадратов отклонений)

4. Для сравнения дисперсий 5, и 5 3 строится следующая /--статистика:

где р - число объясняющих переменных в каждом уравнении регрессии. Если 5, > 5 3 , то

При сделанных предположениях относительно случайных отклонений построенная /"-статистика имеет распределение Фишера с числами степеней свободы v, = v 3 = k - р - 1.

то гипотеза об отсутствии гетероскедастичности отклоняется. Здесь а - выбранный уровень значимости.

Отметим, что этот тест предназначен для анализа больших массивов данных и не всегда его результаты совпадают с результатами других тестов при недостаточном числе наблюдений. В случае множественной линейной регрессии проверка гетероскедастичности производится по каждой из объясняющих переменных.

Пример 5.1

Имеются условные данные по выпуску продукции у на одного работника х (табл. 5.1).

Таблица 5.1

Исходные данные к примеру 5.1

Построим модель парной линейной регрессии и проверим наличие гетероскедастичности.

Решение. Пусть модель регрессии выражается линейным уравнением Используя обычный МИК, получим

Проверим модель на наличие гетероскедастичности, применяя рассмотренные выше методы.

1. Графический анализ остатков.

В табл. 5.2 приведены значения остатков, полученные по уравнению регрессии.

Таблица 5.2

Значения остатков

График остатков е, = г/ ; -y t позволяет предполагать наличие гетероскедастичности (рис. 5.3).

Рис. 53.

2. Проверка гетероскедастичности по тесту Спирмена.

Для этого расположим все наблюдения в порядке возрастания объясняющей переменной.г, рассчитав y t . найдем остатки е, модуль остатков |е, |, в порядке возрастания ранги Xj и е : | и квадрат разности между этими рангами Df. Результаты представлены в табл. 5.3.

Таблица 53

Расчеты для теста Спирмена

			Ранг Xj	Ранг | С; |

			Ранг Xj	Ранг е {

Находим коэффициент ранговой корреляции Спирмена:

Проверяем значимость полученного коэффициента по?-тесту:

Т ак как? кр = v = ?(0,05; 16) = 2,12, гипотеза Я 0 отклоняется, следовательно, имеет место гетероскедасти ч ность.

3. Проверка гетерос кедасти чности по тесту Глейзера.

Гетероскедастичность случайного отклонения аппроксимируется уравнением (5.1) для у = 1: S; = а + bxj.

Остатки для уравнения регрессии = 13,53 + 2,86х, представлены в табл. 5.2. Применяя обычный МНК к.г, и e t | (столбцы 2 и 3 табл. 5.3), находим коэффициенты а и b :

здесь Sj = е

Значимость коэффициента b :

Гипотеза Я 0 отклоняется, b значимо отличается от нуля. В модели имеет место гетероскедастичность (определение S b рассмотрено в параграфе 3.5).

4. Проверка гетероскедастичности по тесту Голдфелда - Квандта. Упорядоченная по х выборка (см. табл. 5.1) разбивается на три группы 6 - 6 -

б наблюдений. Для первой и третьей групп по МНК строятся уравнения регрессии:

и находится отношение квадратов остатков

Критическое значение F Kp = F 005 . 4 . 4 = 6,39. Так как наблюдаемое значение больше критического, нулевая гипотеза # 0 отклоняется. Гетероскедастичность в выборке, представленной в табл. 5.1, есть.

Вывод. Все тесты показали наличие гетероскедастичности остатков, т.е. невыполнение одной из предпосылок МНК.

Замечание 5.1. Если хотя бы один из примененных тестов показал наличие гетероскедастичности, а остальные - нет, то гипотеза об отсутствии гетероскедастичности отклоняется.

Обнаружение гетероскедастичности

В случае парной регрессии о проявлении гетероскедастичности можно судить по характеру расположения экспериментальных точек на корреляционном поле (рис. 5.1). На рис. 5.1 можно заметить, что дисперсии случайных отклонений неодинаковы и увеличиваются с возрастанием значений объясняющей переменной. Однако даже для парной регрессии выводы по определению гетероскедастичности могут являться неоднозначными при наличии локальных «выбросов» точек (пиков на диаграмме рассеивания). Естественно, что для множественной регрессии обнаружение гетероскедастичности является значительно более сложной задачей, чем для моделей с одним регрессором.

В настоящее время существует достаточно большое количество тестов для поверки на гетероскедастичность, базирующихся на дисперсионном анализе случайных отклонений. Рассмотрим наиболее распространенные из них.

Тест ранговой корреляции Спирмена . Идея данного теста заключается в том, что в случае гетероскедастичности дисперсия случайного отклонения будет либо увеличиваться, либо уменьшаться с увеличением значений регрессоров Х . Поэтому для регрессионной модели, построенной по МНК, абсолютные значения оценок отклонений e i и значения x i будут коррелированны.

Значения e i и x i ранжируются (упорядочиваются по величинам). Номеру i значения x i в упорядоченном ряду будет соответствовать ранг r xi . Аналогично упорядочим данные по абсолютным значениям остатков и каждому |e i | припишем ранг r ei . Тогда разность между рангами (d i ) запишем как d i = r xi - r ei . Например, если x 20 является 25-м по величие среди всех значений X , а e 20 является 30-м, то d i = 25 - 30 = -5.

Коэффициент ранговой корреляции Спирмена вычисляется по формуле

(5.2)

где n - число наблюдений.

Доказано, что при n > 10 статистика

(5.3)

имеет t -распределение Стьюдента с числом степеней свободы v = n - 2.

Следовательно, в соответствии со схемой проверки статистических гипотез, если наблюдаемое значение t -статистики, рассчитанное по формуле (5.3), превышает t кр = t a , n - 2 (табличное), то необходимо отклонить гипотезу Н 0 об отсутствии гетероскедастичности. В противном случае гипотеза Н 0 принимается, что соответствует гомоскедастичности.

Если анализируется модель множественной регрессии, то проверка гипотезы осуществляется с помощью t -статистики для каждой объясняющей переменной отдельно.

Следует заметить, что коэффициент ранговой корреляции Спирмена (r ) может иметь самостоятельное значение в эконометрических исследованиях. Он используется при установлении тесноты связи между порядковыми переменными. В этом случае анализируемые объекты упорядочивают по степени влияния (проявления) признака. Если объекты ранжированы по двум признакам Х иY , то имеется возможность оценить тесноту связи между этими переменными, основываясь на рангах. В том случае, если ранги всех объектов равны, то r = 1 (полная прямая связь). При полной обратной связи ранги объектов по двум переменным расположены в обратном порядке и r = -1. Во всех остальных случаях |r | < 1. Применение коэффициента ранговой корреляции не требует нормального распределения переменных и линейной связи между ними. Однако необходимо учитывать, что в случае количественных переменных переход от их первоначальных значений и размерностей к рангам сопровождается определенной потерей информации.

Тест Голдфелда-Квандта. Этот тест использует предположения о нормальности распределения случайных отклонений и о пропорциональности средних квадратических (стандартных) отклонений σ i = σ(e i ) значениям соответствующей объясняющей переменной X .

В рамках этих предположений Голдфелд и Квандт предложили следующую процедуру проверки на гетероскедастичность:

1. Все n наблюдений упорядочиваются в порядке возрастания значений регрессора X , и выборка после этого разбивается на три подвыборки размерностей k , n - 2k , k соответственно.

2. Оцениваются отдельные регрессии для первой и третьей подвыборок (рассматриваем k первых значений и k последних; средние n - 2k наблюдений отбрасываем).

3. Если, в соответствии с нашим предположением, дисперсия случайных отклонений увеличивается с ростом X , то дисперсия регрессии по первой подвыборке (сумма квадратов остатков ) будет существенно меньше дисперсии регрессии по третьей подвыборке (суммы квадратов остатков ).

4. Для сравнения соответствующих дисперсий определяется следующая F -статистика:

. (5.4)

Здесь (k - m - 1) – числа степеней свободы соответствующих выборочных дисперсий (m - одинаковое количество объясняющих переменных в уравнениях регрессии). При выполнении начальных предположений относительно остатков построенная F -статистика имеет распределение Фишера с числами степеней свободы v 1 = v 2 = k - m - 1.

5. Если наблюдаемое значение F -статистики (F набл ), рассчитанное по формуле (5.4), превосходит ее критическое значение , то гипотеза об отсутствии гетероскедастичности (о равенстве дисперсий) отклоняется на выбранном уровне значимости a.

Мощность теста Голдфелда-Квандта, т. е. вероятность отвергнуть гипотезу об отсутствии гетероскедастичности в случае, когда ее действительно нет, оказывается максимальной, если выбирать k » n /3.

Для множественной регрессии данный тест может осуществляться для каждой из объясняющих переменных или для одного выбранного регрессора, который в наибольшей степени связан с σ i .

Аналогичный тест может быть использован при условии обратной пропорциональности между стандартными отклонениями остатков σ i и значениями объясняющей переменной. При этом статистика Фишера примет вид: F = S 1 /S 3 .

Тест Уайта. Сущность данного теста заключается в том, что если в модели присутствует гетероскедастичность, то дисперсии случайных отклонений некоторым образом зависят от регрессоров; т. е. гетероскедастичность должна как-то проявляться в поведении остатков исходной регрессионной модели. Исходя из этого при использовании теста Уайта предполагается, что дисперсии остатков представляют собой некоторую функцию от наблюдаемых значений объясняющих переменных

Для получения соответствующих выводов осуществляется оценка функции (5.5) с помощью уравнения регрессии для квадратов остатков:

где v i - случайный член.

На практике чаще всего функция f выбирается квадратичной, а регрессоры в уравнении (5.6) – это регрессоры исходной модели, их квадраты и, возможно, попарные произведения. Для данного теста гипотеза об отсутствии гетероскедастичности, что соответствует условию f = const , принимается в случае незначимости регрессии (5.6) в целом.

Следует заметить, что во всех рассматриваемых тестах (критериях) осуществляется проверка нулевой гипотезы Н 0 об отсутствии гетероскедастичности.

Обнаружение гетероскедастичности в каждом конкретном случае является довольно сложной задачей, так как для знания дисперсий отклонений необходимо знать распределение СВ Y , соответствующее выбранному значению СВ Х .

Не существует какого-либо однозначного метода определения гетероскедастичности. Однако к настоящему времени для такой проверки разработано довольно большое число тестов и критериев для них. Рассмотрим наиболее популярные и наглядные: графический анализ отклонений, тест ранговой корреляции Спирмена, тест Парка, тест Глейзера, тест Гольдфельда-Квандта.

1).Графический анализ остатков.

Использование графического представления отклонений позволяет определиться с наличием гетероскедастичности. В этом случае по оси абсцисс откладываются значения объясняющей переменной Х (либо линейной комбинации объясняющих переменных , а по оси ординат либо отклонения , либо их квадраты .Примеры таких графиков приведены на рис. 5.3.

На рис. 5.3,а все отклонения находятся внутри полуполосы постоянной ширины, параллельной оси абсцисс. Это говорит о независимости дисперсий от значений переменной Х и их постоянстве, т.е. в этом случае выполняются условия гомоскедастичности.

На рис. 5.3, б-д наблюдаются некоторые систематические изменения в соотношениях между значениями переменной Х и квадратами отклонений . Рис. 5.3, б соответствует примеру из пункта 1. На рис. 5.3, в отражена линейная, 5.3, г – квадратичная, 5.3, д – гиперболическая зависимости между квадратами отклонений и значениями объясняющей переменной Х . Другими словами, ситуации, представленные на рис. 5.3, в-д , отражают большую вероятность наличия гетероскедастичности для рассматриваемых статистических данных.

Рис. 5. 3

2).Тест ранговой корреляции Спирмена

При использовании данного теста предполагается, что дисперсия отклонения будет либо увеличиваться, либо уменьшаться с увеличением значений Х . Поэтому для регрессии, построенной по МНК, абсолютные величины отклонений и значения СВ Х будут коррелированны. Значения и ранжируются (упорядочиваются по величинам). Затем определяется коэффициент ранговой корреляции:

, (5.1)

где - разность между рангами и ; -число наблюдений.

Например, если является 25-м по величине среди всех наблюдений Х , а является 32-м, то .

Доказано, что если коэффициент корреляции для генеральной совокупности равен нулю, то статистика

имеет распределение Стьюдента с числом степеней свободы .

Следовательно, если наблюдаемое значение -статистики, вычисленное по формуле (5.2), превышает (определяемое по таблице критических точек распределения Стьюдента), то необходимо отклонить гипотезу о равенстве нулю коэффициента корреляции , а следовательно, и об отсутствии гетероскедастичности. В противном случае гипотеза об отсутствии гетероскедастичности принимается.

3).Тест Парка.

Р.Парк предложил критерий определения гетероскедастичности, дополняющий графический метод некоторыми формальными зависимостями. Предполагается, что дисперсия является функцией -го значения объясняющей переменной. Парк предложил следующую функциональную зависимость:

Прологарифмировав (5.3), получим:

Так как дисперсия обычно неизвестны, то их заменяют оценками квадратов отклонений .

Критерий Парка включает следующие этапы:

1. Строится уравнение регрессии .

2. Для каждого наблюдения определяются .

3. Строится регрессия

, (5.5)

В случае множественной регрессии зависимость (5.5) строится для каждой объясняющей переменной.

4. Проверяется статистическая значимость коэффициента уравнения (5.5) на основе -статистики . Если коэффициент статистически значим, то это означает наличие связи между и , т.е. гетероскедастичности в статистических данных.

4).Тест Глейзера.

Тест Глейзера по своей сути аналогичен тесту Парка и дополняет его анализом других (возможно, более подходящих) зависимостей между дисперсиями отклонений и значениями переменной . По данному методу оценивается регрессионная зависимость модулей отклонений (тесно связанных с ) от . При этом рассматриваемая зависимость моделируется следующим уравнением регрессии:

. (5.6)

Изменяя значение , можно построить различные регрессии. Обычно Статистическая значимость коэффициента в каждом конкретном случае фактически означает наличие гетероскедастичности. Если для нескольких регрессий (5.6) коэффициент оказывается статистически значимым, то при определении характера зависимости обычно ориентируются на лучшую из них.

5).Тест Гольдфельда-Квандта.

В данном случае также предполагается, что стандартное отклонение пропорционально значению переменной Х в этом наблюдении, т.е. . Предполагается, что имеет нормальное распределение и отсутствует автокорреляция остатков.

Тест Гольдфельда-Квандта состоит в следующем:

1. Все наблюдений упорядочиваются по величине Х.

2. Вся упорядоченная выборка после этого разбивается на три подвыборки размерностей соответственно.