Эффективность оценки параметра регрессии полученной по мнк означает

17. Эффективность МНК-оценок МНК

17. Эффективность МНК-оценок МНК

Свойство эффективности оценок неизвестных параметров модели регрессии, полученных методом наименьших квадратов, доказывается с помощью теоремы Гаусса-Маркова.

Сделаем следующие предположения о модели парной регрессии:

1) факторная переменная xi– неслучайная или детерминированная величина, которая не зависит от распределения случайной ошибки модели регрессии ?i;

2) математическое ожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях:

3) дисперсия случайной ошибки модели регрессии постоянна для всех наблюдений:;

4) между значениями случайных ошибок модели регрессии в любых двух наблюдениях отсутствует систематическая взаимосвязь, т. е. случайные ошибки модели регрессии не коррелированны между собой (ковариация случайных ошибок любых двух разных наблюдений равна нулю):

Это условие выполняется в том случае, если исходные данные не являются временными рядами;

Если выдвинутые предположения справедливы, то оценки неизвестных параметров модели парной регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок, т. е. МНК-оценки можно считать эффективными оценками неизвестных параметров ?0 и ?1.

Если выдвинутые предположения справедливы для модели множественной регрессии, то оценки неизвестных параметров данной модели регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок, т. е. МНК-оценки можно считать эффективными оценками неизвестных параметров ?0…?n.

Для обозначения дисперсий МНК-оценок неизвестных параметров модели регрессии используется матрица ковариаций.

Матрицей ковариаций МНК-оценок параметров линейной модели парной регрессии называется выражение вида:

– дисперсия МНК-оценки параметра модели регрессии ?0;

– дисперсия МНК-оценки параметра модели регрессии ?1.

Матрицей ковариаций МНК-оценок параметров линейной модели множественной регрессии называется выражение вида:

где G2(?) – это дисперсия случайной ошибки модели регрессии ?.

Для линейной модели парной регрессии дисперсии оценок неизвестных параметров определяются по формулам:

2) дисперсия МНК-оценки коэффициента модели регрессии ?1:

где G2(?) – дисперсия случайной ошибки уравнения регрессии ?;

G2(x) – дисперсия независимой переменой модели регрессии х;

n – объём выборочной совокупности.

В связи с тем, что на практике значение дисперсии случайной ошибки модели регрессии G2(?) неизвестно, для вычисления матрицы ковариаций МНК-оценок применяют оценку дисперсии случайной ошибки модели регрессии S2(?).

Для линейной модели парной регрессии оценка дисперсии случайной ошибки определяется по формуле:

– это остатки регрессионной модели, которые рассчитываются как

Тогда оценка дисперсии МНК-оценки коэффициента ?0 линейной модели парной регрессии будет определяться по формуле:

Оценка дисперсии МНК-оценки коэффициента ?1линейной модели парной регрессии будет определяться по формуле:

Для модели множественной регрессии общую формулу расчёта матрицы ковариаций МНК-оценок коэффициентов на основе оценки дисперсии случайной ошибки модели регрессии можно записать следующим образом:

Данный текст является ознакомительным фрагментом.

Продолжение на ЛитРес

Читайте также

Эффективность капитальных вложений

9.1.3. Планирование и эффективность рекламы

9.1.3. Планирование и эффективность рекламы Основной источник разработки стратегии рекламной кампании – общая программа маркетинга. Исходя из этого и формируются цели рекламной кампании. То есть от того, каким путем спланированы все мероприятия по стимулированию сбыта,

12. Эффективность логистической системы

12. Эффективность логистической системы Ученые в области логистики считают, что на данный момент не существует универсальной модели оценки эффективности логистической системы способной учитывать все переменные, все нюансы и все возможные ситуации.Тем не менее один

21. Эффективность закупочной деятельности

21. Эффективность закупочной деятельности Основу экономической эффективности закупочной логистики составляют поиск необходимых материалов удовлетворительного качества и закупка их по минимальным ценам. Вопрос цен – главный в изучении рынка, проводимом

16. Состоятельность и несмещённость МНК-оценок

16. Состоятельность и несмещённость МНК-оценок Предположим, что методом наименьших квадратов получена оценка Для того, чтобы данная оценка могла быть принята за оценку параметра необходимо и достаточно выполнения трёх статистических свойств:1) свойства несмещённости;2)

Эффективность движений

Эффективность движений При выполнении «10 шагов» вы совершаете только те движения, которые помогают байку повернуть. Такие методики «эффективных движений» хорошо знакомы профессиональным танцорам и бойцам. Я впервые познакомился с ними, когда стал заниматься боевыми

27. ЭФФЕКТИВНОСТЬ МАРКЕТИНГА

27. ЭФФЕКТИВНОСТЬ МАРКЕТИНГА Критерии оценкиОценивать эффективность отдельных методов комплекса маркетинга по конечным результатам, например росту объема продаж, чрезвычайно сложно. Поэтому часто используется относительная оценка, когда стоимость того или иного

Эффективность и рациональность

Эффективность и рациональность Как говорил Сенека, когда не знаешь, в какую гавань держишь путь, ни один ветер не будет дуть в нужном направлении. Для организации операционная стратегия заключается в точном определении своей деятельности, т. е. что является центральной

Эффективность

Эффективность Эффективность E, согласно ISO 9000, – это соотношение достигнутого эффекта (результата) Q и затраченных ресурсов C:E = Q / C (4.4)Эффективность

4.3. Эффективное время, Эффективность

4.3. Эффективное время, Эффективность Не зря до сих пор специалисты в экономике, как только речь идет о точном расчете эффективности, не могут прийти к единому мнению, ибо в конкретном деле такие факторы, как социальные, личностные и другие не могут быть точно выражены в

Источник

Эффективность МНК-оценок метода наименьших квадратов

Свойство эффективности оценок неизвестных параметров модели регрессии, полученных методом наименьших квадратов, доказывается с помощью теоремы Гаусса-Маркова.

Сделаем следующие предположения о модели парной регрессии:

1) факторная переменная x_i – неслучайная или детерминированная величина, которая не зависит от распределения случайной ошибки модели регрессии β_i;

2) математическое ожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях:

3) дисперсия случайной ошибки модели регрессии постоянна для всех наблюдений:;

4) между значениями случайных ошибок модели регрессии в любых двух наблюдениях отсутствует систематическая взаимосвязь, т. е. случайные ошибки модели регрессии не коррелированны между собой (ковариация случайных ошибок любых двух разных наблюдений равна нулю):

Это условие выполняется в том случае, если исходные данные не являются временными рядами;

5) на основании третьего и четвёртого условий часто добавляется пятое условие, заключающееся в том, что случайная ошибка модели регрессии – это случайная величина, подчиняющейся нормальному закону распределения с нулевым математическим ожиданием и дисперсией G 2 : ε_i

Если выдвинутые предположения справедливы, то оценки неизвестных параметров модели парной регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок, т. е. МНК-оценки можно считать эффективными оценками неизвестных параметров β₀и β₁.

Если выдвинутые предположения справедливы для модели множественной регрессии, то оценки неизвестных параметров данной модели регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок, т. е. МНК-оценки можно считать эффективными оценками неизвестных параметров β₀…β_n.

Для обозначения дисперсий МНК-оценок неизвестных параметров модели регрессии используется матрица ковариаций.

Матрицей ковариаций МНК-оценок параметров линейной модели парной регрессии называется выражение вида:

– дисперсия МНК-оценки параметра модели регрессии β₀;

– дисперсия МНК-оценки параметра модели регрессии β₁.

Матрицей ковариаций МНК-оценок параметров линейной модели множественной регрессии называется выражение вида:

где G 2 (ε) – это дисперсия случайной ошибки модели регрессии ε.

Для линейной модели парной регрессии дисперсии оценок неизвестных параметров определяются по формулам:

1) дисперсия МНК-оценки коэффициента модели регрессии β₀:

2) дисперсия МНК-оценки коэффициента модели регрессии β₁:

где G 2 (ε) – дисперсия случайной ошибки уравнения регрессии β;

G 2 (x) – дисперсия независимой переменой модели регрессии х;

n – объём выборочной совокупности.

В связи с тем, что на практике значение дисперсии случайной ошибки модели регрессии G 2 (ε) неизвестно, для вычисления матрицы ковариаций МНК-оценок применяют оценку дисперсии случайной ошибки модели регрессии S2(ε).

Для линейной модели парной регрессии оценка дисперсии случайной ошибки определяется по формуле:

– это остатки регрессионной модели, которые рассчитываются как

Тогда оценка дисперсии МНК-оценки коэффициента β₀ линейной модели парной регрессии будет определяться по формуле:

Оценка дисперсии МНК-оценки коэффициента β₁ линейной модели парной регрессии будет определяться по формуле:

Для модели множественной регрессии общую формулу расчёта матрицы ковариаций МНК-оценок коэффициентов на основе оценки дисперсии случайной ошибки модели регрессии можно записать следующим образом:

Источник

Эффективность оценки параметра регрессии полученной по мнк означает

2.3. Статистические свойства оценок метода наименьших квадратов

Поскольку полученные оценки a и b коэффициентов линейной регрессии основаны на статистических данных и являются случайными величинами, то естественно установить свойства этих оценок, как случайных величин. Более того, не выяснив этих свойств, невозможно сделать обоснованных выводов относительно качества и надежности полученных оценок. Необходимо, в частности, определить такие их статистические характеристики, как математическое ожидание и дисперсия. К желательным свойствам оценок относятся также несмещенность и состоятельность. Далее, если бы удалось определить вид распределения (плотности распределения) оценок, можно было бы построить доверительные интервалы для истинных значений параметров регрессии (то есть получить интервальные оценки коэффициентов) и реализовать процедуры проверки гипотез относительно их значений. Важную роль играет также изучение статистических свойств остатков оцененной регрессии.

Все эти задачи можно решить, основываясь на некоторых правдоподобных теоретических предпосылках (гипотезах) модели, выполнение которых на практике подлежит проверке с помощью специально разработанных для этого статистических процедур.

Предположение относительно независимых переменных

Предположения относительно случайной составляющей модели

При выполнении предпосылки относительно переменной x статистические свойства оценок параметров и зависимой переменной, а также остатков, целиком определяются вероятностными свойствами случайной составляющей регрессионной модели. Относительно случайной составляющей в классическом регрессионном анализе предполагают выполнение следующих условий, которые называются условиями Гаусса-Маркова и играют ключевую роль при изучении свойств оценок, полученных по методу наименьших квадратов.

1. Первое условие заключается в том, что математическое ожидание случайной составляющей во всех наблюдениях должно быть равно нулю. Формально это записывается так

, для всех t =1,2,…,n.

Смысл этого условия заключается в том, что не должно быть систематического смещения случайной составляющей. В линейной регрессии систематическое смещение линии регрессии учитывается с помощью введения параметра смещения и поэтому данное условие можно считать всегда выполненным.

2. Дисперсия случайной составляющей постоянна для всех наблюдений (то есть не зависит от номера наблюдения). Это условие записывается так

, где дисперсия — величина постоянная.

Это свойство дисперсии ошибок называется гомоскедастичностью (однородностью) (запомните этот термин).

Графическая иллюстрация понятий гомоскедастичность и гетероскедастичность

Рис. 2.6а. Гомоскедастичность

Рис. 2.6б. Гетероскедастичность

Рис. 2.6в. Гетероскедастичность

3. Случайные составляющие модели для различных наблюдений некоррелированы. Это условие записывается таким образом

, для всех i не равных j (i, j=1,2,…,n).

Выполнение этого условия означает отсутствие систематической (статистической) связи между значениями случайного члена в любых двух наблюдениях. Это свойство на практике также проверяется с помощью статистических процедур на основе анализа остатков модели. Если оно нарушается, то процедура оценки параметров должна быть скорректирована.

4. Четвертое условие Гаусса-Маркова записывается так

, для всех i и j,

и означает, что объясняющие переменные и случайные составляющие некоррелированы для всех наблюдений. Ранее мы предположили, что объясняющая переменная в модели не является стохастической. В этом случае четвертое условие выполняется автоматически.

Дополнительное предположение о нормальном распределении ошибок

Данное предположение является, пожалуй, наиболее спорным. Дело в том, что предположение о нормальности можно считать правдоподобным, если значения случайной величины порождаются в результате воздействия большого количества независимых случайных факторов, каждый из которых не обязательно имеет нормальное распределение. Примером такого воздействия является так называемое броуновское движение (хаотичное движение малых частиц в жидкости как результат совокупного воздействия на частицу (ударов, соударения) большого количества молекул жидкости).

Если случайные величины в модели распределены по нормальному закону, то из свойств некоррелированности в третьем и четвертом условиях Гаусса-Маркова следует и независимость соответствующих случайных величин.

2.3.2. Свойства выборочных вариаций и ковариаций. Остаточные ошибки (остатки) модели, их свойства

Свойства выборочных вариаций (дисперсий) и ковариаций

Для дальнейшего изложения нам понадобиться установить ряд правил, которые можно использовать при преобразовании выражений, содержащих выборочные вариации и ковариации.

,

откуда следует свойство

Далее, нетрудно видеть, что имеют место равенства

Источник

Эффективность оценки параметра регрессии полученной по мнк означает

2.2. Оценка параметров линейной модели по методу наименьших квадратов (МНК)

Этот метод и многочисленные его модификации являются основными и в эконометрике. Поэтому при изучении данного курса ему нужно уделить особое внимание.

2.2.1. Критерий наименьших квадратов. Сравнение с другими возможными критериями

Запишем уравнение для отдельных наблюдений (реализаций) в парной линейной регрессии

Уравнение ( 2.6 ) выражает эмпирическую взаимосвязь между переменными модели и его можно записать только относительно конкретных наблюдений. Подчеркнем, что ошибки модели являются наблюдаемыми величинами, поскольку их можно определить исходя из наблюдений переменных модели.

В методе наименьших квадратов оценки a и b параметров модели строятся так, что бы минимизировать сумму квадратов ошибок (остатков) модели по всем наблюдениям. Таким образом, критерий (целевая функция) наименьших квадратов записывается в виде

Очевидно, правая часть выражения ( 2.7 ) является квадратичной функцией параметров a и b.

Замечание относительно переменных x.

Графическая иллюстрация принципа наименьших квадратов

Рис 2.2. Иллюстрация принципа наименьших квадратов

Рис 2.3. Между переменными нет зависимости

2.2.2. Вывод нормальных уравнений для оценок параметров регрессии. Решение нормальных уравнений. Варианты записи выражений для оценок параметров

Получим выражения для оптимальных в смысле минимума МНК-критерия оценок параметров модели парной линейной регрессии.

Согласно методу наименьших квадратов, необходимо минимизировать функцию двух переменных

Из курса высшей математики известно, что условием минимума функции вида ( 2.8 ) по переменным a и b является равенство нулю частных производных этой функции. Уравнения для определения оптимальных оценок получаются путем приравнивания нулю производной функции S(a,b) как функции только от a при фиксированном b и производной функции S(a,b) как функции только от b при фиксированном a.

Это приводит к следующей системе уравнений:

которую необходимо решить относительно переменных a и b. По правилам вычисления производных получим следующие выражения:

так что значения параметров a и b, минимизирующие квадратичную форму ( 2.8 ), удовлетворяют соотношениям

После несложных преобразований эту систему можно записать в виде

Система уравнений ( 2.11 ), ( 2.12 ) называется системой нормальных уравнений для коэффициентов регрессии.

Это система двух линейных уравнений с двумя неизвестными и она легко может быть решена, например, методом подстановки.

Из первого уравнения системы находим:

где , — выборочные средние наблюдений.

Подставив выражение для a во второе уравнение системы, получим

,

,

Таким образом, мы получили следующие соотношения для оценок параметров модели

,

Однако, в теоретических исследованиях и практических расчетах чаще используют другую, более удобную эквивалентную форму записи уравнений для оценок. Эта форма получается, если использовать следующие соотношения

Эти соотношения позволяют получить новую форму записи выражения для b (в отклонениях от выборочных средних значений)

которая вместе с выражением для a

которое означает, что определитель системы нормальных уравнений отличен от нуля. Действительно, этот определитель равен

Выражение для коэффициента b часто записывают также, используя понятия выборочной вариации (дисперсии) и выборочной ковариации.

Выборочная вариация определяется соотношением вида

и выборочная ковариация следующим соотношением

Используя введенные понятия, формулу ( 2.13 ) для коэффициента b можно записать в виде

Замечание относительно выборочных дисперсии и ковариации.

Напомним, что выборочная дисперсия характеризует степень разброса случайной величины относительно ее выборочного среднего значения. Выборочная ковариация характеризует степень линейной статистической взаимосвязи двух случайных величин. При определенных условиях, которые будут рассмотрены позже, выражения ( 2.16 ) и ( 2.17 ) являются несмещенными эмпирическими оценками теоретических дисперсии и ковариации.

Замечание относительно полученных оценок.

Если независимая переменная не случайная (детерминированная) величина, то ее дисперсия равна нулю, а ковариация детерминированной и случайной величин равна нулю. В этом случае выборочные дисперсия (вариация) x и выборочная ковариация величин x и y теряют смысл оценок соответствующих теоретических значений дисперсии и ковариации и должны рассматриваться только как некоторые характеристики наблюдаемых переменных, не связанные с их статистическими свойствами.

И, наконец, подчеркнем еще раз, что уравнения для оценок получены без каких либо предположений относительно характеристик случайных составляющих модели.

Интерпретация оценок параметров

Определим оценку зависимой переменной y уравнением

Уравнение ( 2.19 ) определяет эмпирическую регрессионную функцию, оценка называется прогнозом объясняемой переменной. Эта функция определяет прямую на плоскости . Эмпирический коэффициент b является частной производной ( 2.19 ) по независимой переменной x (регрессору). Следовательно можно дать следующую интерпретацию коэффициента b: изменение величины независимой переменной x на единицу при фиксированном значении параметра a приведет к изменению оценки переменной y на величину коэффициента b.

Таблица 1.1

Из диаграммы рассеяния, построенной по этим данным (рис. 2.4a ), можно предположить существование линейной зависимости между переменными y и x.

Рис. 2.4а. Диаграмма рассеяния примера 2.1

Рис. 2.4б. Линия регрессии (пример 2.1)

Оценки параметров парной линейной регрессии, вычисленные по формулам ( 2.13 ), ( 2.14 ) равны: a=4,02; b=1,29. Уравнение регрессии имеет вид

Торговое предприятие имеет несколько филиалов. Исследуем зависимость годового товарооборота отдельного филиала от: а) размера торговой площади; б) среднедневной интенсивности потока покупателей. Поскольку мы пока не умеем строить модели множественной регрессии, построим две «частные» модели парной регрессии.

Таблица 1.2

Для второй регрессии получаем следующие оценки: a=-2,0394, b=0,6846. Ее уравнение

Дайте интерпретацию параметров регрессий примера 2.2.

Рис.2.5а. Диаграмма рассеяния и линия
регрессии (первая модель, пример 2.2)

Рис.2.5б. Диаграмма рассеяния и линия
регрессии (вторая модель, пример 2.2)

Источник