重回帰分析

1. Q1 · 2級 · 暗記 · 4択

   重回帰分析のモデル $$ y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \cdots + \beta_p x_{pi} + \varepsilon_i $$ における誤差項 $\varepsilon_i$ が表すものとして、正しいものはどれか。
   • 目的変数の、説明変数だけでは説明できない確率的な変動
   • 説明変数の測定単位を揃えるために加える定数項
   • 目的変数の標本平均を表す定数
   • 各説明変数どうしの相関の強さを表す係数

   答え

   目的変数の、説明変数だけでは説明できない確率的な変動

   誤差項の位置づけ

   重回帰モデルは、目的変数 $y$ を説明変数の線形結合 $\beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p$ で説明しようとするが、現実のデータは測定誤差やモデルに含まれない要因の影響で、この線形結合だけでは完全には説明できない。 この説明しきれない部分を確率変数 $\varepsilon_i$ として明示的にモデルに含めたものが誤差項である。

2. Q2 · 2級 · 暗記 · 4択

   重回帰分析における偏回帰係数 $\beta_1$ の解釈として、最も適切なものはどれか。
   • 他の説明変数を固定したまま、$x_1$ を1単位増やしたときの $y$ の平均的な変化量
   • $x_1$ だけで $y$ を説明した単回帰分析の傾きと、常に一致する値
   • $x_1$ と $y$ の相関係数そのもの
   • $x_1$ が $y$ の変動に占める割合(パーセンテージ)

   答え

   他の説明変数を固定したまま、$x_1$ を1単位増やしたときの $y$ の平均的な変化量

   単回帰の傾きとの違い

   偏回帰係数は「他の説明変数を固定した上での」効果を表す点が単回帰分析の傾きと異なる。 $x_1$ と他の説明変数の間に相関があると、$x_1$ だけを使った単回帰分析の傾きと、重回帰分析における $x_1$ の偏回帰係数は一般に一致しない。

3. Q3 · 2級 · 暗記 · 4択

   重回帰分析において、単位の異なる説明変数(例えば「身長(cm)」と「年収(万円)」)どうしで目的変数への影響の大きさを比較したい場合に用いる指標として、正しいものはどれか。
   • 標準偏回帰係数(目的変数と説明変数を標準化してから求めた係数)
   • 偏回帰係数の値を、単位を無視してそのまま比較する
   • 決定係数 $R^2$ の値を比較して判断する
   • 残差平方和の値を比較して判断する

   答え

   標準偏回帰係数(目的変数と説明変数を標準化してから求めた係数)

   なぜ標準化するのか

   通常の偏回帰係数は説明変数の単位に依存するため、単位の異なる変数どうしを値の大小だけで比較することはできない。目的変数と各説明変数をそれぞれ平均0・標準偏差1に標準化してから回帰係数を求めることで、単位に依存しない形で影響の大きさを比較できるようにしたものが標準偏回帰係数である。

4. Q4 · 2級 · 暗記 · 4択

   重回帰分析では、説明変数を追加しても決定係数 $R^2$ は減少しない(増加するか、変わらない)性質がある。 そこで説明変数の数を考慮した指標として自由度調整済み決定係数(調整済み $R^2$)が使われるが、その説明として正しいものはどれか。
   • 説明変数を増やしても、その変数が目的変数の説明にほとんど寄与しなければ値が低下しうる指標
   • 説明変数を増やすと通常の $R^2$ と同様に、決して減少しない指標
   • 説明変数の数に関わらず、通常の $R^2$ と常に完全に一致する指標
   • 残差平方和をそのまま目的変数の分散で割っただけの値

   答え

   説明変数を増やしても、その変数が目的変数の説明にほとんど寄与しなければ値が低下しうる指標

   定義式

   標本サイズを $n$、説明変数の数を $p$ とすると、自由度調整済み決定係数は次の式で定義される。 $$ \bar{R}^2 = 1 - (1 - R^2) \cdot \frac{n-1}{n-p-1} $$ 説明変数を1つ増やすと $n-p-1$ が小さくなり、$\dfrac{n-1}{n-p-1}$ の部分が大きくなる。 新しい変数が $R^2$ をほとんど押し上げないなら、このペナルティの効果が上回り、$\bar{R}^2$ はむしろ下がることがある。

5. Q5 · 2級 · 計算 · 一問一答

   標本サイズ $n = 20$ のデータに、説明変数2個($p = 2$)の重回帰モデルを当てはめたところ、決定係数 $R^2 = 0.64$ が得られた。 このときの自由度調整済み決定係数を求めよ(小数第3位を四捨五入)。

   答え

   0.60

   解き方

   $$ \bar{R}^2 = 1 - (1 - R^2) \cdot \frac{n-1}{n-p-1} $$ $n - 1 = 19$、$n - p - 1 = 20 - 2 - 1 = 17$ なので、 $$ \bar{R}^2 = 1 - 0.36 \times \frac{19}{17} = 1 - 0.4024\ldots \approx 0.5976 $$ 小数第3位を四捨五入して $0.60$ となる。

6. Q6 · 2級 · 暗記 · 4択

   重回帰分析における「多重共線性」の説明として、正しいものはどれか。
   • 説明変数どうしの相関が強いために、各偏回帰係数の推定が不安定になる現象
   • 目的変数と説明変数の相関が弱いために、決定係数が小さくなる現象
   • 残差が正規分布に従わなくなる現象
   • 説明変数の数が標本サイズを超える場合にのみ発生する現象

   答え

   説明変数どうしの相関が強いために、各偏回帰係数の推定が不安定になる現象

   何が問題になるのか

   説明変数どうしの相関が強いと、「他の説明変数を固定したときの効果」である偏回帰係数をデータから安定的に切り分けることが難しくなる。その結果、偏回帰係数の推定値が標本によって大きくぶれたり、符号が直感に反するものになったりすることがある。

← 解説記事一覧に戻る