回帰直線・単回帰と予測

1. Q1 · 2級 · 暗記 · 4択

   単回帰分析における最小二乗法の説明として、正しいものはどれか。
   • 残差の二乗和を最小にするように回帰係数を定める方法
   • 残差の絶対値の和を最小にするように回帰係数を定める方法
   • 各点から回帰直線に下ろした垂線の長さの二乗和を最小にするように回帰係数を定める方法
   • 相関係数を最大にするように回帰係数を定める方法

   答え

   残差の二乗和を最小にするように回帰係数を定める方法

   残差平方和とは

   回帰直線 $\hat{y}_i = a + bx_i$ による予測値と実測値 $y_i$ との差(残差) $e_i = y_i - \hat{y}_i$ を考える。 最小二乗法は、この残差の二乗和 $\sum e_i^2 = \sum (y_i - a - bx_i)^2$ を最小にする $a, b$ を求める方法である。 残差は $y$ 軸方向(縦方向)の差であり、各点から回帰直線に下ろした垂線の長さ(直交距離)ではない点に注意する。

   なぜ二乗和なのか

   残差をそのまま足すと正負が打ち消し合ってしまい、当てはまりの良し悪しを測れない。 二乗することで正負の打ち消しを防ぎつつ、微分による最適化(正規方程式)が扱いやすくなるため、二乗和が広く使われる。

2. Q2 · 2級 · 計算 · 一問一答

   あるデータについて、$x$ の偏差平方和 $S_{xx} = \sum (x_i - \bar{x})^2 = 50$、$x$ と $y$ の偏差積和 $S_{xy} = \sum (x_i - \bar{x})(y_i - \bar{y}) = 30$ が得られた。 単回帰直線 $y = a + bx$ の傾き $b$ を求めよ。

   答え

   0.6

   解き方

   $$ b = \frac{S_{xy}}{S_{xx}} $$

   $$ b = \frac{30}{50} = 0.6 $$

3. Q3 · 2級 · 暗記 · 4択

   単回帰分析で最小二乗法により求めた回帰直線 $y = a + bx$ に関して、必ず成り立つ性質として正しいものはどれか。
   • 回帰直線は必ず点 $(\bar{x}, \bar{y})$ を通る
   • 回帰直線は必ず原点 $(0, 0)$ を通る
   • 回帰直線の傾き $b$ は必ず正の値になる
   • 残差の絶対値の総和は必ず0になる

   答え

   回帰直線は必ず点 $(\bar{x}, \bar{y})$ を通る

   なぜ平均の点を通るのか

   最小二乗法の正規方程式を解くと、切片は $a = \bar{y} - b\bar{x}$ となる。 これを回帰式に代入すると $x = \bar{x}$ のとき $\hat{y} = a + b\bar{x} = \bar{y}$ となり、回帰直線が必ず $(\bar{x}, \bar{y})$ を通ることが分かる。

   残差の和との違い

   最小二乗法では残差の「和」(絶対値ではない)がちょうど0になるという性質はあるが、残差の絶対値の和が0になるわけではない(個々の残差自体が0とは限らない)。

4. Q4 · 2級 · 計算 · 一問一答

   ある単回帰分析により、回帰直線 $\hat{y} = 2 + 3x$ が推定された。$x = 4$ のときの予測値 $\hat{y}$ を求めよ。

   答え

   14

   解き方

   $$ \hat{y} = 2 + 3 \times 4 = 2 + 12 = 14 $$

5. Q5 · 2級 · 暗記 · 4択

   決定係数 $R^2$ の説明として正しいものはどれか。
   • 目的変数の全変動のうち回帰によって説明できる割合
   • 残差平方和を全変動で割った値
   • 説明変数と目的変数の相関係数そのもの
   • 説明変数を増やすと必ず減少する値

   答え

   目的変数の全変動のうち回帰によって説明できる割合

   定義

   $R^2 = 1 - \dfrac{\sum (y_i - \hat{y}_i)^2}{\sum (y_i - \bar{y})^2}$

6. Q6 · 2級 · 暗記 · 4択

   単回帰分析で得られた回帰直線を用いて予測を行う際の注意点として、最も適切なものはどれか。
   • データの範囲を大きく超える $x$ の値を予測する(外挿)と、予測の信頼性は低下する
   • 回帰直線は用いたデータの範囲に関わらず、常に正確な予測を与える
   • 決定係数が1に近ければ、どんな $x$ の値についても正確に予測できる
   • 外挿を行えば行うほど、かえって予測の精度は高くなる

   答え

   データの範囲を大きく超える $x$ の値を予測する(外挿)と、予測の信頼性は低下する

   外挿とは

   観測されたデータの $x$ の範囲の外側で予測を行うことを外挿という。 回帰直線はあくまで観測範囲内のデータに当てはめて求めたものであり、その範囲外でも同じ直線的な関係が続く保証はない。決定係数が高くても、それは観測範囲内での当てはまりの良さを示すに過ぎない点に注意が必要である。

7. Q7 · 2級 · 暗記 · 4択

   単回帰分析において、ある $x$ の値に対する「目的変数の平均の信頼区間」と「個々の観測値に対する予測区間」の違いについての説明として、正しいものはどれか。
   • 予測区間は個々の観測値のばらつき(誤差項の分散)も考慮するため、平均の信頼区間よりも常に広くなる
   • 予測区間は平均の信頼区間よりも常に狭くなる
   • 両者は数学的に全く同じ区間になる
   • 標本サイズを大きくしていくと、予測区間の幅も信頼区間と同様に0に近づいていく

   答え

   予測区間は個々の観測値のばらつき(誤差項の分散)も考慮するため、平均の信頼区間よりも常に広くなる

   なぜ予測区間の方が広いのか

   「平均の信頼区間」は回帰直線そのもの(平均的な予測値 $\hat{y}$)の推定誤差だけを考慮するのに対し、「予測区間」はそれに加えて、個々のデータが持つ誤差項 $\varepsilon$ のばらつきも上乗せして考える。 誤差項の分散 $\sigma^2$ は正の値なので、予測区間の幅は常に平均の信頼区間の幅よりも広くなる。

   標本サイズを大きくしたときの違い

   標本サイズ $n$ を大きくすると、回帰係数の推定精度が上がるため平均の信頼区間の幅はどこまでも狭くなっていく。一方、予測区間には個々の観測値が持つ誤差項の分散 $\sigma^2$ 由来のばらつきが常に上乗せされるため、標本サイズをいくら大きくしても、その分だけの幅は残り続ける。

← 解説記事一覧に戻る