Презентация на тему "Множественная регрессия и корреляция"

Содержание

• 
  Слайд 1

  Часть 3. Множественная регрессия и корреляция

  Голлай Александр

• 
  Слайд 2

  Множественная регрессия

  19.05.2017 Эконометрика - Alexander Hollay 2 Парная регрессия может дать хороший результат при моделировании, если влиянием других факторов, воздействующих на объект исследования, можно пренебречь. Если же этим влиянием пренебречь нельзя, то в этом случае следует попытаться выявить влияние других факторов, введя их в модель, т.е. построить уравнение множественной регрессии.

• 
  Слайд 3
  

  19.05.2017 Эконометрика - Alexander Hollay 3 Уравнение множественной регрессии: где – зависимая переменная (результативный признак), - – независимые, или объясняющие, переменные (признаки-факторы).  

• 
  Слайд 4

  Множественная регрессия. Применение

  19.05.2017 Эконометрика - Alexander Hollay 4 Множественная регрессия широко используется в решении проблем спроса, доходности акций, при изучении функции издержек производства, в макроэкономических расчетах и целом ряде других вопросов эконометрики. В настоящее время множественная регрессия – один из наиболее распространенных методов в эконометрике. Основная цель множественной регрессии – построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель.

• 
  Слайд 5
  

  Спецификация модели. Отбор факторов при построении уравнения множественной регрессии 19.05.2017 Эконометрика - Alexander Hollay 5

• 
  Слайд 6

  Построение уравнения множественной регрессии

  19.05.2017 Эконометрика - Alexander Hollay 6 Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели. Он включает в себя два круга вопросов: отбор факторов, выбор вида уравнения регрессии.

• 
  Слайд 7
  

  19.05.2017 Эконометрика - Alexander Hollay 7 Включение в уравнение множественной регрессии того или иного набора факторов связано прежде всего с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями.

• 
  Слайд 8

  Построение уравнения множественной регрессии. Требования к факторам.

  19.05.2017 Эконометрика - Alexander Hollay 8 Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям. 1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность. 2. Факторы не должны быть интеркоррелированы и тем более находиться в точной функциональной связи.

• 
  Слайд 9

  Интеркоррелированность

  19.05.2017 Эконометрика - Alexander Hollay 9 Включение в модель факторов с высокой интеркорреляцией, может привести к нежелательным последствиям – система нормальных уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии. Если между факторами существует высокая корреляция, то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми.

• 
  Слайд 10
  

  Построение уравнения множественной регрессии. Коэффициент детерминации.

  19.05.2017 Эконометрика - Alexander Hollay 10 Включаемые во множественную регрессию факторы должны объяснить вариацию независимой переменной. Если строится модель с набором факторов, то для нее рассчитывается показатель детерминации , который фиксирует долю объясненной вариации результативного признака за счет рассматриваемых в регрессии факторов. Влияние других, не учтенных в модели факторов, оценивается как с соответствующей остаточной дисперсией .  

• 
  Слайд 11
  

  19.05.2017 Эконометрика - Alexander Hollay 11 При дополнительном включении в регрессию фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться: и Если же этого не происходит и данные показатели практически не отличаются друг от друга, то включаемый в анализ фактор не улучшает модель и практически является лишним фактором.  

• 
  Слайд 12
  

  19.05.2017 Эконометрика - Alexander Hollay 12 Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии и не увеличивает показатель детерминации, но и приводит к статистической незначимости параметров регрессии по критерию Стьюдента.

• 
  Слайд 13

  Построение уравнения множественной регрессии

  19.05.2017 Эконометрика - Alexander Hollay 13 Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, практически в этом нет необходимости. Отбор факторов производится на основе качественного теоретико-экономического анализа. Однако теоретический анализ часто не позволяет однозначно ответить на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы исходя из сущности проблемы; на второй – на основе матрицы показателей корреляции определяют статистики для параметров регрессии.

• 
  Слайд 14

  Построение уравнения множественной регрессии.

  19.05.2017 Эконометрика - Alexander Hollay 14 Коэффициенты интеркорреляции (т.е. корреляции между объясняющими переменными) позволяют исключать из модели дублирующие факторы. Считается, что две переменные явно коллинеарны, т.е. находятся между собой в линейной зависимости, если .  

• 
  Слайд 15
  

  19.05.2017 Эконометрика - Alexander Hollay 15 Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами. В этом требовании проявляется специфика множественной регрессии как метода исследования комплексного воздействия факторов в условиях их независимости друг от друга.

• 
  Слайд 16

  Построение уравнения множественной регрессии. Подбор переменных.

  19.05.2017 Эконометрика - Alexander Hollay 16 Пусть, например, при изучении зависимости матрица парных коэффициентов корреляции оказалась следующей:  

• 
  Слайд 17
  

  19.05.2017 Эконометрика - Alexander Hollay 17 Очевидно, что факторы и дублируют друг друга. В анализ целесообразно включить фактор , а не , хотя корреляция с результатом слабее, чем корреляция фактора с но зато значительно слабее межфакторнаякорреляция . Поэтому в данном случае в уравнение множественной регрессии включаются факторы  

• 
  Слайд 18
  

  19.05.2017 Эконометрика - Alexander Hollay 18 По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов, когда более чем два фактора связаны между собой линейной зависимостью, т.е. имеет место совокупное воздействие факторов друг на друга. Наличие мультиколлинеарности факторов может означать, что некоторые факторы будут всегда действовать в унисон. В результате вариация в исходных данных перестает быть полностью независимой и нельзя оценить воздействие каждого фактора в отдельности.

• 
  Слайд 19
  

  19.05.2017 Эконометрика - Alexander Hollay 19 Включение в модель мультиколлинеарных факторов нежелательно в силу следующих последствий: 1. Затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов в «чистом» виде, ибо факторы коррелированы; параметры линейной регрессии теряют экономический смысл. 2. Оценки параметров ненадежны, обнаруживают большие стандартные ошибки и меняются с изменением объема наблюдений (не только по величине, но и по знаку), что делает модель непригодной для анализа и прогнозирования.

• 
  Слайд 20
  

  Построение уравнения множественной регрессии. Матрица парных коэффициентов

  19.05.2017 Эконометрика - Alexander Hollay 20 Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами. Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции между факторами была бы единичной матрицей, поскольку все недиагональные элементы . были бы равны нулю.  

• 
  Слайд 21
  

  19.05.2017 Эконометрика - Alexander Hollay 21 Так, для уравнения, включающего три объясняющих переменных матрица коэффициентов корреляции между факторами имела бы определитель, равный единице:  

• 
  Слайд 22
  

  19.05.2017 Эконометрика - Alexander Hollay 22 Если же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты корреляции равны единице, то определитель такой матрицы равен нулю:

• 
  Слайд 23
  

  19.05.2017 Эконометрика - Alexander Hollay 23 Чем ближе к нулю определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И, наоборот, чем ближе к единице определитель матрицы межфакторной корреляции, тем меньше мультиколлинеарность факторов.

• 
  Слайд 24

  Подходы к преодолению сильной межфакторной корреляции.

  19.05.2017 Эконометрика - Alexander Hollay 24 Существует ряд подходов преодоления сильной межфакторной корреляции. Самый простой путь устранения мультиколлинеарности состоит в исключении из модели одного или нескольких факторов. Другой подход связан с преобразованием факторов, при котором уменьшается корреляция между ними.

• 
  Слайд 25
  

  19.05.2017 Эконометрика - Alexander Hollay 25 Рассматриваемое уравнение включает взаимодействие первого порядка (взаимодействие двух факторов). Возможно включение в модель и взаимодействий более высокого порядка, если будет доказана их статистическая значимость по -критерию Фишера, но, как правило, взаимодействия третьего и более высоких порядков оказываются статистически незначимыми.  

• 
  Слайд 26
  

  19.05.2017 Эконометрика - Alexander Hollay 26 Одним из путей учета внутренней корреляции факторов является переход к совмещенным уравнениям регрессии, т.е. к уравнениям, которые отражают не только влияние факторов, но и их взаимодействие. Так, если , то возможно построение следующего совмещенного уравнения: +  

• 
  Слайд 27

  Отбор факторов

  19.05.2017 Эконометрика - Alexander Hollay 27 Отбор факторов, включаемых в регрессию, является одним из важнейших этапов практического использования методов регрессии. Подходы к отбору факторов на основе показателей корреляции могут быть разные. Они приводят построение уравнения множественной регрессии соответственно к разным методикам. В зависимости от того, какая методика построения уравнения регрессии принята, меняется алгоритм ее решения на ЭВМ.

• 
  Слайд 28
  

  19.05.2017 Эконометрика - Alexander Hollay 28 Наиболее широкое применение получили следующие методы построения уравнения множественной регрессии: 1. Метод исключения – отсев факторов из полного его набора. 2. Метод включения – дополнительное введение фактора. 3. Шаговый регрессионный анализ – исключение ранее введенного фактора.

• 
  Слайд 29
  

  19.05.2017 Эконометрика - Alexander Hollay 29 При отборе факторов также рекомендуется пользоваться следующим правилом: число включаемых факторов обычно в 6–7 раз меньше объема совокупности, по которой строится регрессия. Если это соотношение нарушено, то число степеней свободы остаточной дисперсии очень мало. Это приводит к тому, что параметры уравнения регрессии оказываются статистически незначимыми, а -критерий меньше табличного значения.  

• 
  Слайд 30
  

  Метод наименьших квадратов (МНК). Свойства оценок на основе МНК 19.05.2017 Эконометрика - Alexander Hollay 30

• 
  Слайд 31

  Виды уравнений множественной регрессии

  19.05.2017 Эконометрика - Alexander Hollay 31 Возможны разные виды уравнений множественной регрессии: линейные, нелинейные. Ввиду четкой интерпретации параметров наиболее широко используется линейная функция.

• 
  Слайд 32
  

  Линейная множественная регрессия 19.05.2017 Эконометрика - Alexander Hollay 32

• 
  Слайд 33

  Линейная множественная регрессия

  19.05.2017 Эконометрика - Alexander Hollay 33 В линейной множественной регрессии параметры при называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.  

• 
  Слайд 34
  

  19.05.2017 Эконометрика - Alexander Hollay 34 Рассмотрим линейную модель множественной регрессии Классический подход к оцениванию параметров линейной модели множественной регрессии основан на методе наименьших квадратов (МНК).  

• 
  Слайд 35
  

  19.05.2017 Эконометрика - Alexander Hollay 35 МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака от расчетныхминимальна:  

• 
  Слайд 36
  

  19.05.2017 Эконометрика - Alexander Hollay 36 Как известно из курса математического анализа, для того чтобы найти экстремум функции нескольких переменных, надо вычислить частные производные первого порядка по каждому из параметров и приравнять их к нулю.

• 
  Слайд 37
  

  19.05.2017 Эконометрика - Alexander Hollay 37 Итак. Имеем функцию аргумента:  

• 
  Слайд 38
  

  19.05.2017 Эконометрика - Alexander Hollay 38 Находим частные производные первого порядка:  

• 
  Слайд 39
  

  19.05.2017 Эконометрика - Alexander Hollay 39 После элементарных преобразований приходим к системе линейных нормальных уравнений для нахождения параметров линейного уравнения множественной регрессии  

• 
  Слайд 40
  

  19.05.2017 Эконометрика - Alexander Hollay 40 Для двухфакторной модели данная система будет иметь вид:  

• 
  Слайд 41
  

  19.05.2017 Эконометрика - Alexander Hollay 41 Метод наименьших квадратов применим и к уравнению множественной регрессии в стандартизированном масштабе: где – стандартизированные переменные: , , для которых среднее значение равно нулю: , а среднее квадратическое отклонение равно единице: . - – стандартизированные коэффициенты регрессии.  

• 
  Слайд 42
  

  19.05.2017 Эконометрика - Alexander Hollay 42 Стандартизованные коэффициенты регрессии показывают, на сколько единиц изменится в среднем результат, если соответствующий фактор изменится на одну единицу при неизменном среднем уровне других факторов.  

• 
  Слайд 43
  

  19.05.2017 Эконометрика - Alexander Hollay 43 В силу того, что все переменные заданы как центрированные и нормированные, стандартизованные коэффициенты регрессии можно сравнивать между собой. Сравнивая их друг с другом, можно ранжировать факторы по силе их воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов «чистой» регрессии, которые несравнимы между собой.  

• 
  Слайд 44
  

  19.05.2017 Эконометрика - Alexander Hollay 44 Применяя МНК к уравнению множественной регрессии в стандартизированном масштабе, получим систему нормальных уравнений вида где и – коэффициенты парной и межфакторной корреляции.  

• 
  Слайд 45
  

  19.05.2017 Эконометрика - Alexander Hollay 45 Коэффициенты «чистой» регрессии связаны со стандартизованными коэффициентами регрессии следующим образом:  

• 
  Слайд 46
  

  19.05.2017 Эконометрика - Alexander Hollay 46 Поэтому можно переходить от уравнения регрессии в стандартизованном масштабе к уравнению регрессии в натуральном масштабе переменных , при этом параметр определяется как  

• 
  Слайд 47
  

  19.05.2017 Эконометрика - Alexander Hollay 47 Рассмотренный смысл стандартизованных коэффициентов регрессии позволяет их использовать при отсеве факторов – из модели исключаются факторы с наименьшим значением .  

• 
  Слайд 48
  

  19.05.2017 Эконометрика - Alexander Hollay 48 На основе линейного уравнения множественной регрессии могут быть найдены частные уравнения регрессии:  

• 
  Слайд 49
  

  19.05.2017 Эконометрика - Alexander Hollay 49 т.е. уравнения регрессии, которые связывают результативный признак с соответствующим фактором при закреплении остальных факторов на среднем уровне. В развернутом виде систему можно переписать в виде:  

• 
  Слайд 50
  

  19.05.2017 Эконометрика - Alexander Hollay 50 При подстановке в эти уравнения средних значений соответствующих факторов они принимают вид парных уравнений линейной регрессии, т.е. имеем  

• 
  Слайд 51
  

  19.05.2017 Эконометрика - Alexander Hollay 51 где  

• 
  Слайд 52
  

  19.05.2017 Эконометрика - Alexander Hollay 52 В отличие от парной регрессии частные уравнения регрессии характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены на неизменном уровне. Эффекты влияния других факторов присоединены в них к свободному члену уравнения множественной регрессии.

• 
  Слайд 53
  

  19.05.2017 Эконометрика - Alexander Hollay 53 Это позволяет на основе частных уравнений регрессии определять частные коэффициенты эластичности: где – коэффициент регрессии для фактора в уравнении множественной регрессии, – частное уравнение регрессии.  

• 
  Слайд 54
  

  19.05.2017 Эконометрика - Alexander Hollay 54 Наряду с частными коэффициентами эластичности могут быть найдены средние по совокупности показатели эластичности: которые показывают на сколько процентов в среднем изменится результат, при изменении соответствующего фактора на 1%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.  

• 
  Слайд 55
  

  Пример 19.05.2017 Эконометрика - Alexander Hollay 55

• 
  Слайд 56

  Условия

  19.05.2017 Эконометрика - Alexander Hollay 56 Рассмотрим пример (для сокращения объема вычислений ограничимся только десятью наблюдениями). Пусть имеются следующие данные (условные) о сменной добыче угля на одного рабочего (т) , мощности пласта (м) и уровне механизации работ (%), , характеризующие процесс добычи угля в 10 шахтах.  

• 
  Слайд 57

  Решение

  19.05.2017 Эконометрика - Alexander Hollay 57 Предполагая, что между переменными , , существует линейная корреляционная зависимость, найдем уравнение регрессии от и . Для удобства дальнейших вычислений составляем таблицу ():  

• 
  Слайд 58
  

  19.05.2017 Эконометрика - Alexander Hollay 58

• 
  Слайд 59
  

  19.05.2017 Эконометрика - Alexander Hollay 59 Для нахождения параметров уравнения регрессии в данном случае необходимо решить следующую систему нормальных уравнений:  

• 
  Слайд 60
  

  19.05.2017 Эконометрика - Alexander Hollay 60 Откуда получаем, что , , . Т.е. получили следующее уравнение множественной регрессии:  

• 
  Слайд 61
  

  19.05.2017 Эконометрика - Alexander Hollay 61 Оно показывает, что при увеличении только мощности пласта (при неизменном ) на 1 м добыча угля на одного рабочего увеличится в среднем на 0,854 т, а при увеличении только уровня механизации работ (при неизменном ) на 1% – в среднем на 0,367 т.  

• 
  Слайд 62
  

  19.05.2017 Эконометрика - Alexander Hollay 62 Найдем уравнение множественной регрессии в стандартизованном масштабе: при этом стандартизованные коэффициенты регрессии будут  

• 
  Слайд 63
  

  19.05.2017 Эконометрика - Alexander Hollay 63 Найдем уравнение множественной регрессии в стандартизованном масштабе: при этом стандартизованные коэффициенты регрессии будут Т.е. уравнение будет выглядеть следующим образом:  

• 
  Слайд 64
  

  19.05.2017 Эконометрика - Alexander Hollay 64 Так как стандартизованные коэффициенты регрессии можно сравнивать между собой, то можно сказать, что мощность пласта оказывает большее влияние на сменную добычу угля, чем уровень механизации работ.

• 
  Слайд 65
  

  19.05.2017 Эконометрика - Alexander Hollay 65 Сравнивать влияние факторов на результат можно также при помощи средних коэффициентов эластичности: Вычисляем:  

• 
  Слайд 66
  

  19.05.2017 Эконометрика - Alexander Hollay 66 Т.е. увеличение только мощности пласта (от своего среднего значения) или только уровня механизации работ на 1% увеличивает в среднем сменную добычу угля на 1,18% или 0,34% соответственно. Таким образом, подтверждается большее влияние на результат фактора , , чем фактора .  

• 
  Слайд 67
  

  Проверка существенности факторов и показатели качества регрессии 19.05.2017 Эконометрика - Alexander Hollay 67

• 
  Слайд 68
  

  19.05.2017 Эконометрика - Alexander Hollay 68 Практическая значимость уравнения множественной регрессии оценивается с помощью показателя множественной корреляции и его квадрата – показателя детерминации. Показатель множественной корреляции характеризует тесноту связи рассматриваемого набора факторов с исследуемым признаком или, иначе, оценивает тесноту совместного влияния факторов на результат.

• 
  Слайд 69

  Показатель множественной корреляции

  19.05.2017 Эконометрика - Alexander Hollay 69 Независимо от формы связи показатель множественной корреляции может быть найден как: где – общая дисперсия результативного признака; – остаточная дисперсия.  

• 
  Слайд 70
  

  19.05.2017 Эконометрика - Alexander Hollay 70 Границы изменения индекса множественной корреляции от 0 до 1. Чем ближе его значение к 1, тем теснее связь результативного признака со всем набором исследуемых факторов. Величина индекса множественной корреляции должна быть больше или равна максимальному парному индексу корреляции:  

• 
  Слайд 71
  

  19.05.2017 Эконометрика - Alexander Hollay 71 При правильном включении факторов в регрессионную модель величина индекса множественной корреляции будет существенно отличаться от индекса корреляции парной зависимости. Если же дополнительно включенные в уравнение множественной регрессии факторы третьестепенны, то индекс множественной корреляции может практически совпадать с индексом парной корреляции (различия в третьем, четвертом знаках). Отсюда ясно, что сравнивая индексы множественной и парной корреляции, можно сделать вывод о целесообразности включения в уравнение регрессии того или иного фактора.

• 
  Слайд 72
  

  19.05.2017 Эконометрика - Alexander Hollay 72 Расчет индекса множественной корреляции предполагает определение уравнения множественной регрессии и на его основе остаточной дисперсии: Можно пользоваться следующей формулой индекса множественной детерминации:  

• 
  Слайд 73
  

  19.05.2017 Эконометрика - Alexander Hollay 73 При линейной зависимости признаков формула индекса множественной корреляции может быть представлена следующим выражением: где – стандартизованные коэффициенты регрессии; – парные коэффициенты корреляции результата с каждым фактором.  

• 
  Слайд 74
  

  19.05.2017 Эконометрика - Alexander Hollay 74 Формула индекса множественной корреляции для линейной регрессии получила название линейного коэффициента множественной корреляции, или, что то же самое, совокупного коэффициента корреляции.

• 
  Слайд 75
  

  19.05.2017 Эконометрика - Alexander Hollay 75 Возможно также при линейной зависимости определение совокупного коэффициента корреляции через матрицу парных коэффициентов корреляции:  

• 
  Слайд 76
  

  19.05.2017 Эконометрика - Alexander Hollay 76 – определитель матрицы парных коэффициентов корреляции;  

• 
  Слайд 77
  

  19.05.2017 Эконометрика - Alexander Hollay 77 – определитель матрицы межфакторной корреляции.  

• 
  Слайд 78
  

  19.05.2017 Эконометрика - Alexander Hollay 78 Как видим, величина множественного коэффициента корреляции зависит не только от корреляции результата с каждым из факторов, но и от межфакторной корреляции. Рассмотренная формула позволяет определять совокупный коэффициент корреляции, не обращаясь при этом к уравнению множественной регрессии, а используя лишь парные коэффициенты корреляции.

• 
  Слайд 79
  

  19.05.2017 Эконометрика - Alexander Hollay 79 В рассмотренных показателях множественной корреляции (индекс и коэффициент) используется остаточная дисперсия, которая имеет систематическую ошибку в сторону преуменьшения, тем более значительную, чем больше параметров определяется в уравнении регрессии при заданном объеме наблюдений . Если число параметров при равно и приближается к объему наблюдений, то остаточная дисперсия будет близка к нулю и коэффициент (индекс) корреляции приблизится к единице даже при слабой связи факторов с результатом. Для того чтобы не допустить возможного преувеличения тесноты связи, используется скорректированный индекс (коэффициент) множественной корреляции.  

• 
  Слайд 80

  Скорректированный индекс множественной корреляции

  19.05.2017 Эконометрика - Alexander Hollay 80 Скорректированный индекс множественной корреляции содержит поправку на число степеней свободы, а именно остаточная сумма квадратов делится на число степеней свободы остаточной вариации , а общая сумма квадратов отклонений на число степеней свободы в целом по совокупности .  

• 
  Слайд 81

  Скорректированный индекс множественной детерминации

  19.05.2017 Эконометрика - Alexander Hollay 81 Формула скорректированного индекса множественной детерминации имеет вид: где – число параметров при переменных ; – число наблюдений.  

• 
  Слайд 82
  

  19.05.2017 Эконометрика - Alexander Hollay 82 Поскольку то величину скорректированного индекса детерминации можно представить в виде: Чем больше величина , , тем сильнее различия и .  

• 
  Слайд 83
  

  19.05.2017 Эконометрика - Alexander Hollay 83 Как было показано выше, ранжирование факторов, участвующих во множественной линейной регрессии, может быть проведено через стандартизованные коэффициенты регрессии ( -коэффициенты). Эта же цель может быть достигнута с помощью частных коэффициентов корреляции (для линейных связей). Кроме того, частные показатели корреляции широко используются при решении проблемы отбора факторов: целесообразность включения того или иного фактора в модель можно доказать величиной показателя частной корреляции.  

• 
  Слайд 84

  Частные коэффициенты корреляции

  19.05.2017 Эконометрика - Alexander Hollay 84 Частные коэффициенты корреляции характеризуют тесноту связи между результатом и соответствующим фактором при элиминировании (устранении влияния) других факторов, включенных в уравнение регрессии. Показатели частной корреляции представляют собой отношение сокращения остаточной дисперсии за счет дополнительного включения в анализ нового фактора к остаточной дисперсии, имевшей место до введения его в модель.

• 
  Слайд 85
  

  19.05.2017 Эконометрика - Alexander Hollay 85 В общем виде при наличии факторов для уравнения коэффициент частной корреляции, измеряющий влияние на фактора , при неизменном уровне других факторов, можно определить по формуле:  

• 
  Слайд 86
  

  19.05.2017 Эконометрика - Alexander Hollay 86 При двух факторах предыдущая формула примет вид:  

• 
  Слайд 87
  

  19.05.2017 Эконометрика - Alexander Hollay 87 где – множественный коэффициент детерминации всех факторов с результатом; – тот же показатель детерминации, но без введения в модель фактора .  

• 
  Слайд 88
  

  19.05.2017 Эконометрика - Alexander Hollay 88 Порядок частного коэффициента корреляции определяется количеством факторов, влияние которых исключается. Например, – коэффициент частной корреляции первого порядка. Соответственно коэффициенты парной корреляции называются коэффициентами нулевого порядка.  

• 
  Слайд 89
  

  19.05.2017 Эконометрика - Alexander Hollay 89 Коэффициенты частной корреляции более высоких порядков можно определить через коэффициенты частной корреляции более низких порядков по рекуррентной формуле:  

• 
  Слайд 90
  

  19.05.2017 Эконометрика - Alexander Hollay 90 При двух факторах данная формула примет вид:  

• 
  Слайд 91
  

  19.05.2017 Эконометрика - Alexander Hollay 91 Для уравнения регрессии с тремя факторами частные коэффициенты корреляции второго порядка определяются на основе частных коэффициентов корреляции первого порядка. Так, по уравнению возможно исчисление трех частных коэффициентов корреляции второго порядка: ,  

• 
  Слайд 92
  

  19.05.2017 Эконометрика - Alexander Hollay 92 , каждый из которых определяется по рекуррентной формуле. Например, при имеем формулу для расчета  

• 
  Слайд 93
  

  19.05.2017 Эконометрика - Alexander Hollay 93 Рассчитанные по рекуррентной формуле частные коэффициенты корреляции изменяются в пределах от –1 до +1, а по формулам через множественные коэффициенты детерминации – от 0 до 1. Сравнение их друг с другом позволяет ранжировать факторы по тесноте их связи с результатом. Частные коэффициенты корреляции дают меру тесноты связи каждого фактора с результатом в чистом виде.

• 
  Слайд 94
  

  19.05.2017 Эконометрика - Alexander Hollay 94 Если из стандартизованного уравнения регрессии следует, что , т.е. пo силе влияния на результат порядок факторов таков: ,  

• 
  Слайд 95
  

  19.05.2017 Эконометрика - Alexander Hollay 95 В эконометрике частные коэффициенты корреляции обычно не имеют самостоятельного значения. Их используют на стадии формирования модели. Так, строя многофакторную модель, на первом шаге определяется уравнение регрессии с полным набором факторов и рассчитывается матрица частных коэффициентов корреляции. На втором шаге отбирается фактор с наименьшей и несущественной по -критерию Стьюдента величиной показателя частной корреляции.  

• 
  Слайд 96
  

  19.05.2017 Эконометрика - Alexander Hollay 96 Исключив его из модели, строится новое уравнение регрессии. Процедура продолжается до тех пор, пока не окажется, что все частные коэффициенты корреляции существенно отличаются от нуля. Если исключен несущественный фактор, то множественные коэффициенты детерминации на двух смежных шагах построения регрессионной модели почти не отличаются друг от друга, , где – число факторов.  

• 
  Слайд 97
  

  19.05.2017 Эконометрика - Alexander Hollay 97 Из приведенных выше формул частных коэффициентов корреляции видна связь этих показателей с совокупным коэффициентом корреляции. Зная частные коэффициенты корреляции (последовательно первого, второго и более высокого порядка), можно определить совокупный коэффициент корреляции по формуле:  

• 
  Слайд 98
  

  19.05.2017 Эконометрика - Alexander Hollay 98 В частности, для двухфакторного уравнения формула принимает вид:  

• 
  Слайд 99
  

  19.05.2017 Эконометрика - Alexander Hollay 99 При полной зависимости результативного признака от исследуемых факторов коэффициент совокупного их влияния равен единице. Из единицы вычитается доля остаточной вариации результативного признака обусловленная последовательно включенными в анализ факторами. В результате подкоренное выражение характеризует совокупное действие всех исследуемых факторов.  

• 
  Слайд 100

  Оценка значимости уравнения множественной регрессии

  19.05.2017 Эконометрика - Alexander Hollay 100 Значимость уравнения множественной регрессии в целом, так же как и в парной регрессии, оценивается с помощью -критерия Фишера: где – факторная сумма квадратов на одну степень свободы; – остаточная сумма квадратов на одну степень свободы; – коэффициент (индекс) множественной детерминации; – число параметров при переменных (в линейной регрессии совпадает с числом включенных в модель факторов); – число наблюдений.  

• 
  Слайд 101
  

  19.05.2017 Эконометрика - Alexander Hollay 101 Оценивается значимость не только уравнения в целом, но и фактора, дополнительно включенного в регрессионную модель. Необходимость такой оценки связана с тем, что не каждый фактор, вошедший в модель, может существенно увеличивать долю объясненной вариации результативного признака. Кроме того, при наличии в модели нескольких факторов они могут вводиться в модель в разной последовательности. Ввиду корреляции между факторами значимость одного и того же фактора может быть разной в зависимости от последовательности его введения в модель. Мерой для оценки включения фактора в модель служит частный -критерий, т.е.  

• 
  Слайд 102
  

  19.05.2017 Эконометрика - Alexander Hollay 102 Частный –критерий построен на сравнении прироста факторной дисперсии, обусловленного влиянием дополнительно включенного фактора, с остаточной дисперсией на одну степень свободы по регрессионной модели в целом. В общем виде для фактора частный –критерий определится как  

• 
  Слайд 103
  

  19.05.2017 Эконометрика - Alexander Hollay 103 где – коэффициент множественной детерминации для модели с полным набором факторов, – тот же показатель, но без включения в модель фактора , – число наблюдений, – число параметров в модели (без свободного члена).  

• 
  Слайд 104
  

  19.05.2017 Эконометрика - Alexander Hollay 104 Фактическое значение частного – критерий сравнивается с табличным при уровне значимости и числе степеней свободы: 1 и . Если фактическое значение превышает , то дополнительное включение фактора в модель статистически оправданно и коэффициент чистой регрессии при факторе статистически значим. Если же фактическое значение меньше табличного, то дополнительное включение в модель фактора не увеличивает существенно долю объясненной вариации признака , следовательно, нецелесообразно его включение в модель; коэффициент регрессии при данном факторе в этом случае статистически незначим.  

• 
  Слайд 105
  

  19.05.2017 Эконометрика - Alexander Hollay 105 Для двухфакторного уравнения частные – критерий имеют вид:  

• 
  Слайд 106
  

  19.05.2017 Эконометрика - Alexander Hollay 106 С помощью частного –критерия можно проверить значимость всех коэффициентов регрессии в предположении, что каждый соответствующий фактор вводился в уравнение множественной регрессии последним. Частный – критерий оценивает значимость коэффициентов чистой регрессии. Зная величину можно определить и -критерий для коэффициента регрессии при -м факторе, , а именно:  

• 
  Слайд 107
  

  19.05.2017 Эконометрика - Alexander Hollay 107 Оценка значимости коэффициентов чистой регрессии по –критерию Стьюдента может быть проведена и без расчета частных -критериев. В этом случае, как и в парной регрессии, для каждого фактора используется формула: где, – средняя квадратическая (стандартная) ошибка коэффициента регрессии .  

• 
  Слайд 108
  

  19.05.2017 Эконометрика - Alexander Hollay 108 Для уравнения множественной регрессии средняя квадратическая ошибка коэффициента регрессии может быть определена по следующей формуле:  

• 
  Слайд 109
  

  19.05.2017 Эконометрика - Alexander Hollay 109 где – среднее квадратическое отклонение для признака , – среднее квадратическое отклонение для признака , – коэффициент детерминации для уравнения множественной регрессии, – коэффициент детерминации для зависимости фактора – число степеней свободы для остаточной суммы квадратов отклонений.  

• 
  Слайд 110
  

  19.05.2017 Эконометрика - Alexander Hollay 110 Как видим, чтобы воспользоваться данной формулой, необходимы матрица межфакторной корреляции и расчет по ней соответствующих коэффициентов детерминации Так, для уравнения оценка значимости коэффициентов регрессии , предполагает расчеттрехмежфакторных коэффициентов детерминации:, , .  

• 
  Слайд 111
  

  19.05.2017 Эконометрика - Alexander Hollay 111 Взаимосвязь показателей частного коэффициента корреляции, частного -критерия и - критерия Стьюдента для коэффициентов чистой регрессии может использоваться в процедуре отбора факторов. Отсев факторов при построении уравнения регрессии методом исключения практически можно осуществлять не только по частным коэффициентам корреляции, исключая на каждом шаге фактор с наименьшим незначимым значением частного коэффициента корреляции, но и по величинам и . Частный -критерий широко используется и при построении модели методом включения переменных и шаговым регрессионным методом.  

• 
  Слайд 112
  

  Пример 19.05.2017 Эконометрика - Alexander Hollay 112

• 
  Слайд 113

  Условия

  19.05.2017 Эконометрика - Alexander Hollay 113 Оценим качество уравнения, полученного в предыдущем разделе.

• 
  Слайд 114

  Решение

  19.05.2017 Эконометрика - Alexander Hollay 114 Сначала найдём значения парных коэффициентов корреляции:  

• 
  Слайд 115
  

  19.05.2017 Эконометрика - Alexander Hollay 115 Значения парных коэффициентов корреляции указывают на достаточно тесную связь сменной добычи угля на одного рабочего с мощностью пласта и на умеренную связь с уровнем механизации работ . В то же время межфакторная связь не очень сильная (), что говорит о том, что оба фактора являются информативными, т.е. и необходимо включить в модель.  

• 
  Слайд 116
  

  19.05.2017 Эконометрика - Alexander Hollay 116 Теперь рассчитаем совокупный коэффициент корреляции . Для этого сначала найдем определитель матрицы парных коэффициентов корреляции: и определитель матрицы межфакторной корреляции:  

• 
  Слайд 117
  

  19.05.2017 Эконометрика - Alexander Hollay 117 Тогда коэффициент множественной корреляции по формуле Т.е. можно сказать, что 81,7% (коэффициент детерминации ) вариации результата объясняется вариацией представленных в уравнении признаков, что указывает на весьма тесную связь признаков с результатом.  

• 
  Слайд 118
  

  19.05.2017 Эконометрика - Alexander Hollay 118 Примерно тот же результат (различия связаны с ошибками округлений) для коэффициента множественной регрессии получим, если воспользуемся формулами  

• 
  Слайд 119
  

  19.05.2017 Эконометрика - Alexander Hollay 119 Скорректированный коэффициент множественной детерминации указывает на умеренную связь между результатом и признаками. Это связано с малым количеством наблюдений.  

• 
  Слайд 120
  

  19.05.2017 Эконометрика - Alexander Hollay 120 Теперь найдем частные коэффициенты корреляции по формулам  

• 
  Слайд 121
  

  19.05.2017 Эконометрика - Alexander Hollay 121 Т.е. можно сделать вывод, что фактор , оказывает более сильное влияние на результат, чем признак .  

• 
  Слайд 122
  

  19.05.2017 Эконометрика - Alexander Hollay 122 Оценим надежность уравнения регрессии в целом и показателя связи с помощью -критерия Фишера. Фактическое значение -критерия Табличное значение -критерия при пятипроцентном уровне значимости (, , ) . Так как , то уравнение признается статистически значимым.  

• 
  Слайд 123
  

  19.05.2017 Эконометрика - Alexander Hollay 123 Оценим целесообразность включения фактора после фактора и после фактора с помощью частного -критерия Фишера  

• 
  Слайд 124
  

  19.05.2017 Эконометрика - Alexander Hollay 124 Табличное значение частного -критерия при пятипроцентном уровне значимости (, , ) : . Так как , а , то включение фактора статистически значим, а дополнительное включение фактора , после того, как уже введен фактор Уравнение регрессии, включающее только один значимый аргумент  

• 
  Слайд 125
  

  Линейные регрессионные модели с гетероскедастичными остатками 19.05.2017 Эконометрика - Alexander Hollay 125

• 
  Слайд 126
  

  19.05.2017 Эконометрика - Alexander Hollay 126 При оценке параметров уравнения регрессии применяется метод наименьших квадратов (МНК). При этом делаются определенные предпосылки относительно случайной составляющей . В модели случайная составляющая представляет собой ненаблюдаемую величину.  

• 
  Слайд 127
  

  19.05.2017 Эконометрика - Alexander Hollay 127 После того как произведена оценка параметров модели, рассчитывая разности фактических и теоретических значений результативного признака , , можно определить оценки случайной составляющей . Поскольку они не являются реальными случайными остатками, их можно считать некоторой выборочной реализацией неизвестного остатка заданного уравнения, т.е. .  

• 
  Слайд 128
  

  19.05.2017 Эконометрика - Alexander Hollay 128 При использовании критериев Фишера и Стьюдента делаются предположения относительно поведения остатков - – остатки представляют собой независимые случайные величины и их среднее значение равно 0; они имеют одинаковую (постоянную) дисперсию и подчиняются нормальному распределению. После построения уравнения регрессии проводится проверка наличия у оценок (случайных остатков) тех свойств, которые предполагались. Связано это с тем, что оценки параметров регрессии должны отвечать определенным критериям. Они должны быть несмещенными, состоятельными и эффективными. Эти свойства оценок, полученных по МНК, имеют чрезвычайно важное практическое значение в использовании результатов регрессии и корреляции.  

• 
  Слайд 129

  Несмещенность

  19.05.2017 Эконометрика - Alexander Hollay 129 Несмещенностьоценки означает, что математическое ожидание остатков равно нулю. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным исследованиям.

• 
  Слайд 130

  Эффективность

  19.05.2017 Эконометрика - Alexander Hollay 130 Оценки считаются эффективными, если они характеризуются наименьшей дисперсией. В практических исследованиях это означает возможность перехода от точечного оценивания к интервальному.

• 
  Слайд 131

  Состоятельность

  19.05.2017 Эконометрика - Alexander Hollay 131 Состоятельностьоценок характеризует увеличение их точности с увеличением объёма выборки. Большой практический интерес представляют те результаты регрессии, для которых доверительный интервал ожидаемого значения параметра регрессии имеет предел значений вероятности, равный единице. Иными словами, вероятность получения оценки на заданном расстоянии от истинного значения параметра близка к единице.  

• 
  Слайд 132

  Исследования остатков

  19.05.2017 Эконометрика - Alexander Hollay 132 Исследования остатков предполагают проверку наличия следующих пяти предпосылок МНК: 1) случайный характер остатков; 2) нулевая средняя величина остатков, не зависящая от , 3) гомоскедастичность – дисперсия каждого отклонения , одинакова для всех значений 4) отсутствие автокорреляции остатков – значения остатков распределены независимо друг от друга; 5) остатки подчиняются нормальному распределению.  

• 
  Слайд 133
  

  19.05.2017 Эконометрика - Alexander Hollay 133 Прежде всего, проверяется случайный характер остатков . С этой целью стоится график зависимости остатков от теоретических значений результативного признака.  

• 
  Слайд 134
  

  19.05.2017 Эконометрика - Alexander Hollay 134 Если на графике получена горизонтальная полоса, то остатки хорошо аппроксимируют фактические значения .  

• 
  Слайд 135
  

  19.05.2017 Эконометрика - Alexander Hollay 135 Если на графике получена горизонтальная полоса, то остатки хорошо аппроксимируют фактические значения .  

• 
  Слайд 136
  

  19.05.2017 Эконометрика - Alexander Hollay 136 Возможны следующие случаи, если то: 1) остатки не случайны;  

• 
  Слайд 137
  

  19.05.2017 Эконометрика - Alexander Hollay 137 2) остатки не имеют постоянной дисперсии;  

• 
  Слайд 138
  

  19.05.2017 Эконометрика - Alexander Hollay 138 3) остатки носят систематический характер.  

• 
  Слайд 139
  

  19.05.2017 Эконометрика - Alexander Hollay 139 В этих случаях необходимо либо применять другую функцию, либо вводить дополнительную информацию и заново строить уравнение регрессии до тех пор, пока остатки не будут случайными величинами.

• 
  Слайд 140
  

  19.05.2017 Эконометрика - Alexander Hollay 140 Вторая предпосылка МНК относительно нулевой средней величины остатков означает, что . Это выполнимо для линейных моделей и моделей, нелинейных относительно включаемых переменных.  

• 
  Слайд 141
  

  19.05.2017 Эконометрика - Alexander Hollay 141 Вместе с тем, несмещенность оценок коэффициентов регрессии, полученных МНК, зависит от независимости случайных остатков и величин , что также исследуется в рамках соблюдения второй предпосылки МНК. С этой целью наряду с изложенным графиком зависимости остатков от теоретических значений результативного признака строится график зависимости случайных остатков от факторов, включенных в регрессию .  

• 
  Слайд 142
  

  19.05.2017 Эконометрика - Alexander Hollay 142

• 
  Слайд 143
  

  19.05.2017 Эконометрика - Alexander Hollay 143 Если остатки на графике расположены в виде горизонтальной полосы, то они независимы от значений . Если же график показывает наличие зависимости и , то модель неадекватна.  

• 
  Слайд 144
  

  19.05.2017 Эконометрика - Alexander Hollay 144 Предпосылка о нормальном распределении остатков позволяет проводить проверку параметров регрессии и корреляции с помощью - и -критериев. Вместе с тем, оценки регрессии, найденные с применением МНК, обладают хорошими свойствами даже при отсутствии нормального распределения остатков, т.е. при нарушении пятой предпосылки МНК.  

• 
  Слайд 145
  

  19.05.2017 Эконометрика - Alexander Hollay 145 Совершенно необходимым для получения по МНК состоятельных оценок параметров регрессии является соблюдение третьей и четвертой предпосылок. В соответствии с третьей предпосылкой МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора и остатки имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность. Наличие гетероскедастичности можно наглядно видеть из поля корреляции.  

• 
  Слайд 146

  Исследования остатков. Примеры гетероскедастичности

  19.05.2017 Эконометрика - Alexander Hollay 146

• 
  Слайд 147
  

  19.05.2017 Эконометрика - Alexander Hollay 147 На рис. изображено: а – дисперсия остатков растет по мере увеличения ; б – дисперсия остатков достигает максимальной величины при средних значениях переменной и уменьшается при минимальных и максимальных значениях ; в – максимальная дисперсия остатков при малых значениях и дисперсия остатков однородна по мере увеличения значений .  

• 
  Слайд 148
  

  19.05.2017 Эконометрика - Alexander Hollay 148 Наличие гомоскедастичности или гетероскедастичности можно видеть и по рассмотренному выше графику зависимости остатков от теоретических значений результативного признака  

• 
  Слайд 149
  

  19.05.2017 149

• 
  Слайд 150

  Исследования остатков.

  19.05.2017 Эконометрика - Alexander Hollay 150 Для множественной регрессии данный вид графиков является наиболее приемлемым визуальным способом изучения гомо- и гетероскедастичности.

• 
  Слайд 151

  Исследования остатков. Автокорреляция.

  19.05.2017 Эконометрика - Alexander Hollay 151 При построении регрессионных моделей чрезвычайно важно соблюдение четвертой предпосылки МНК – отсутствие автокорреляции остатков, т.е. значения остатков , распределены независимо друг от друга. Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений  

• 
  Слайд 152
  

  19.05.2017 Эконометрика - Alexander Hollay 152 Коэффициент корреляции между и , где – остатки текущих наблюдений, – остатки предыдущих наблюдений (например, ) ), может быть определенкак т.е. по обычной формуле линейного коэффициента корреляции. Если этот коэффициент окажется существенно отличным от нуля, то остатки автокоррелированы.  

• 
  Слайд 153
  

  19.05.2017 Эконометрика - Alexander Hollay 153 При несоблюдении основных предпосылок МНК приходится корректировать модель, изменяя ее спецификацию, добавлять (исключать) некоторые факторы, преобразовывать исходные данные для того, чтобы получить оценки коэффициентов регрессии, которые обладают свойством несмещенности, имеют меньшее значение дисперсии остатков и обеспечивают в связи с этим более эффективную статистическую проверку значимости параметров регрессии.

• 
  Слайд 154
  

  Обобщенный метод наименьших квадратов (ОМНК) самостоятельно. См. пособие стр. 73 19.05.2017 Эконометрика - Alexander Hollay 154

• 
  Слайд 155
  

  Регрессионные модели с переменной структурой (фиктивные переменные) самостоятельно. См. пособие стр. 80 19.05.2017 Эконометрика - Alexander Hollay 155

• 
  Слайд 156
  

  Спасибо за внимание! 19.05.2017 Эконометрика - Alexander Hollay 156