VIFの考え方
ある説明変数 $x_j$ について、残りの説明変数で $x_j$ を回帰したときの決定係数を $R_j^2$ とすると、VIFは次の式で定義される。
$$
\mathrm{VIF}_j = \frac{1}{1 - R_j^2}
$$
$x_j$ が他の説明変数でよく説明できる($R_j^2$ が1に近い)ほどVIFは大きくなり、多重共線性が強く疑われる。目安として10前後を超えると注意が必要とされることが多い。
なぜこの形になるのかは、「$x_j$ の変動のうち、回帰係数 $\hat{\beta}_j$ の推定に使える部分はどれだけか」を考えるとわかる。
重回帰では、$\hat{\beta}_j$ は「他の説明変数を一定にしたときの $x_j$ の効果」を表す。そのため推定の手がかりになるのは、$x_j$ の変動全体ではなく、「他の説明変数では説明できない、$x_j$ に固有の変動」だけである。$x_j$ の変動全体(偏差平方和)を $S_{jj}$ とすると、他の説明変数で説明できる割合が $R_j^2$ なので、固有の変動は $S_{jj}(1 - R_j^2)$ になる。
回帰係数の推定量の分散は、手がかりになる変動が小さいほど大きくなる(単回帰で $\hat{\beta}$ の分散が $\sigma^2 / S_{xx}$ となるのと同じ理屈)。重回帰では $S_{jj}$ の代わりに固有の変動 $S_{jj}(1 - R_j^2)$ が分母に入り、
$$
V[\hat{\beta}_j] = \frac{\sigma^2}{S_{jj}(1 - R_j^2)} = \frac{\sigma^2}{S_{jj}} \times \frac{1}{1 - R_j^2}
$$
となる。$\sigma^2 / S_{jj}$ は、$x_j$ が他の説明変数と全く相関していない($R_j^2 = 0$)ときの分散である。つまり $\dfrac{1}{1 - R_j^2}$ は、「他の説明変数との相関のせいで、$\hat{\beta}_j$ の分散が何倍に膨らんだか」を表しており、これが「分散拡大要因(Variance Inflation Factor)」という名前の由来である。
例えば $R_j^2 = 0.9$ なら、$x_j$ の変動のうち固有の部分は1割しか残らないため、分散は10倍(標準誤差は約3.2倍)に膨らむ。推定が不安定になり、係数の符号が直感と逆になったり有意にならなかったりしやすくなる。
他の選択肢の用語
決定係数 $R^2$ は、目的変数の変動のうち回帰モデルで説明できる割合を表す指標で、モデル全体の当てはまりの良さを見るものである。説明変数どうしの関係を直接表すものではない(VIFの計算に使う $R_j^2$ は、目的変数ではなく説明変数 $x_j$ を他の説明変数で回帰したときのもので、別物である)。
ダービン・ワトソン比は、隣り合う残差どうしの相関(系列相関)の有無を確認する統計量で、主に時系列データで誤差項の独立性を調べるのに用いる。
回帰係数の標準誤差は、推定した回帰係数のばらつき(推定の精度)を表す量である。多重共線性があると大きくなりやすいが、標本サイズや誤差分散の大きさにも左右されるため、その値だけでは多重共線性の程度を判断できない。