多重共线性问题的处理
- 逐步回归：逐步删除不重要的(t相对小)解释变量，用逐步回归法完成。
- 岭回归：为有偏估计，但能够有效解决共线问题。
- 主成分回归：对存在多重共线性的自变量组合提取主成分，然后再与其他变量一起进行多元回归分析。
本文主要针对逐步回归法进行说明。
变量筛选策略
在预测性的多元线性回归分析中，模型中应引入多少解释变量时需要重点研究。如果引入的变量较少，回归方程将无法很好地解释说明被解释变量的变化。但并非引入的变量越多越好。因为变量间可能存在多重共线性的问题。
在多元回归分析中，需要采取一些策略对变量引入回归方程加以控制和筛选。主要有三种策略，分别为向前筛选策略，向后筛选策略以及逐步筛选策略。
基本思想
在考虑\(Y\)对已知的一群变量\((x_1,x_2,...,x_k)\)回归时，从变量\(x_i\)中选出对已解释变差(回归项)的贡献最大的变量（最重要变量），进入回归方程。对已解释变差的贡献大小的判别依据，就是包含了偏解释变差的F统计量\(f_j\)。
向前筛选策略
依次纳入最重要的候选自变量。设有\(k\)个自变量。
- 选择与因变量具有最高线性相关系数的\(x_i\)进入方程，并进行回归方程的各种检验。
- 在已引入变量xi的基础上，在剩余\((k-1)\)变量中寻找与因变量偏相关系数最高且通过回归系数显著性检验\((p<α)\)的变量进入方程，并对新建立的回归方程进行各种检验；该过程一直重复，直至没有可进入方程的变量为止。
向后筛选策略
向后筛选策略是变量不断剔除出回归方程的过程。
- 所有变量全部进入方程，并进行各种检验。
- 在回归系数显著性检验不显著的一个或多个变量中，剔除t检验值最小的变量，重建模型进行各项检验，直至模型中所有变量的回归系数检验都显著。
逐步回归筛选策略
逐步筛选法时前向筛选与后向筛选的结合。
- 选择与因变量具有最高线性相关系数的变量\(x_i\)进入方程，并进行回归方程的各种检验。
- 在已引入变量\(x_i\)的基础上，在剩余\((p-1)\)变量中寻找与因变量偏相关系数最高且通过检验的变量\(x_j\)进入方程，并对新建立的回归方程进行各种检验。
- 考察前面引入的变量\(x_i\)是否有显著意义，若无，则剔除；拟合包含第2步引入模型的自变量\(x_{i}\)与除\(x_j\)外的\(p-2\)个自变量的模型，将其中\(p\)值最小且有统计意义者引入模型。
- 重复1-3，直至所有引入的变量均有统计学的意义
向前法，向后法和逐步回归法的侧重点不同。当自变量间不存在简单线性相关关系时，三种方法的结果一致。如果自变量间存在一定的简单线性关系，向前法侧重引入单独作用较强的变量；向后法侧重引入联合作用较强的变量；逐步回归法介于二者之间。
SPSS中选择筛选策略
在线性回归界面，可以在方法选择栏中选择筛选方法，并在选项界面中设置进入模型以及退出模型需要的F概率值。
多元回归需要考虑的问题
多元回归根据研究的目的不同，分为预测(prediction) 或解释(explanation) 两类，采取的回归分析策略亦不相同。
解释回归
- 主要目的：了解自变量对因变量的影响力。
- 目标：探讨变量之间的关系，以及如何对因变量的变异提出一套具有合理解释的回归模型。
- 主要方法：同时回归法(simultaneous regression)，不考虑变量进入模型的先后顺序，将所有的变量全部一次归入模型(Enter)进行分析。
预测回归
- 主要目的：实际问题的解决或实务上的预测与控制。
- 目标：以最少的变量来达成对因变量最大的预测力。
- 主要方法：逐步回归法(stepwise regression)，利用各解释变量与因变量之间相关的强弱，来决定哪些变量应纳入和何时纳入回归方程。
解释型回归对于共线性问题非常敏感。共线问题除了反映解释变量在概念上可能存在混淆关系，也影响每一个解释变量对于因变量解释力的估计。预测性回归则将共线问题交给逐步分析来克服，并不做理论上的分析。