回帰分析その他の解説 | 統計検定®ドリル

Q1 · 2級 · 暗記 · 4択

説明変数 $x$ に対して目的変数 $y$ が指数関数的に増加するようなデータに対して、線形回帰の枠組みで対応するための代表的な工夫として、正しいものはどれか。

$y$ を対数変換した $\log y$ を目的変数として単回帰分析を行う
$x$ と $y$ の値をそのまま入れ替えて回帰する
決定係数が十分に高くなるまでデータ数を増やし続ける
相関係数を計算し、それをそのまま新しい目的変数として回帰する

答え

$y$ を対数変換した $\log y$ を目的変数として単回帰分析を行う

なぜ対数変換で直線になるのか

$y = \alpha e^{\beta x}$ のような指数関数的な関係を仮定すると、両辺の対数をとることで $$ \log y = \log \alpha + \beta x $$ となり、$\log y$ を目的変数とする単回帰の形に変形できる。このように対数などの変数変換を用いて非線形の関係を線形回帰の枠組みに載せる方法が広く使われる。

Q2 · 2級 · 計算 · 一問一答

あるデータに対して、対数(自然対数)を用いた回帰式 $\log y = 1 + 0.5x$ が推定された。 $x = 2$ のときの予測値 $\hat{y}$ を求めよ(小数第2位を四捨五入)。

答え

7.4

解き方

まず $\log y$ の予測値を求めると、 $$ \log \hat{y} = 1 + 0.5 \times 2 = 2 $$ 両辺の指数をとって $y$ の予測値に戻すと、 $$ \hat{y} = e^{2} \approx 7.389 $$ 小数第2位を四捨五入して $7.4$ となる。

Q3 · 2級 · 暗記 · 4択

説明変数 $x$ と目的変数 $y$ の関係が曲線的(例えば上に凸な放物線状)である場合に、線形回帰モデルの枠組みのまま曲線的な関係を表現する方法として、正しいものはどれか。

$x^2$ などのべき乗項を説明変数に加えた多項式回帰を用いる
$x$ の値をすべて四捨五入して整数に丸めてから回帰する
目的変数 $y$ を必ず対数変換してから回帰する
説明変数の数を1つに減らしてから回帰する

答え

$x^2$ などのべき乗項を説明変数に加えた多項式回帰を用いる

「線形」回帰である理由

多項式回帰のモデル $y = \beta_0 + \beta_1 x + \beta_2 x^2 + \varepsilon$ は、$x$ と $y$ の関係としては曲線的だが、$x^2$ を新たな説明変数とみなせば、回帰係数 $\beta_0, \beta_1, \beta_2$ に関しては線形なモデルになっている。そのため通常の重回帰分析と同じ最小二乗法でそのまま係数を推定できる。

Q4 · 2級 · 暗記 · 4択

重回帰分析において、説明変数 $x_1$ が目的変数 $y$ に与える影響の大きさが、別の説明変数 $x_2$ の水準によって変化する(交互作用がある)ことを表現するためにモデルに追加する項として、正しいものはどれか。

$x_1 \times x_2$
$x_1 + x_2$
$x_1 - x_2$
$x_1 / x_2$

答え

$x_1 \times x_2$

交互作用項の意味

モデルに $y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_3 (x_1 \times x_2) + \varepsilon$ のように積の項を加えると、$x_1$ の効果(偏微分)は $\beta_1 + \beta_3 x_2$ となり、$x_2$ の値によって $x_1$ の効果の大きさ自体が変化する構造を表現できる。

Q5 · 準1級 · 暗記 · 4択

説明変数の数が多い場合や多重共線性が強い場合に、回帰係数の推定を安定させるために、残差平方和に回帰係数の二乗和に比例する罰則項(正則化項)を加えて最小化する手法として、正しいものはどれか。

リッジ回帰
ラッソ回帰
主成分分析
クラスター分析

答え

リッジ回帰

罰則項の役割

リッジ回帰は、通常の残差平方和 $\sum e_i^2$ に加えて回帰係数の二乗和 $\lambda \sum \beta_j^2$ を罰則として加えた式を最小化する。係数が大きくなりすぎることを抑えるため、多重共線性が強い場面でも推定値が安定しやすくなるという特徴がある。

ラッソ回帰との違い

ラッソ回帰は、罰則項に回帰係数の絶対値の和 $\lambda \sum |\beta_j|$ を用いる(L1正則化)。リッジ回帰(L2正則化)と同じく係数を小さく抑える働きがあるが、ラッソ回帰では一部の係数がちょうど0に推定されやすく、推定と同時に変数選択も行える。一方、リッジ回帰は係数を0に近づけるものの、ちょうど0にはなりにくいため、すべての説明変数がモデルに残る。

Q6 · 準1級 · 暗記 · 4択

重回帰分析の変数選択において、説明変数を含まないモデルから出発し、ある基準に基づいて変数を1つずつ追加していくが、各段階で既にモデルに含まれている変数についても除去すべきものがないかを確認し、必要であれば取り除く手法はどれか。

変数増減法
変数増加法
変数減少法
総当たり法

答え

変数増減法

変数増加法

説明変数を含まないモデルから出発し、候補の中からモデルを最も改善する変数(F値が最大、AICが最も小さくなる等)を1つずつ追加していく。改善が見込めなくなった時点で終了する。一度取り込んだ変数は後から除去されないため、後で別の変数が加わった結果その変数が不要になっても、モデルに残り続けるという弱点がある。

変数減少法

すべての候補変数を含むモデルから出発し、モデルへの貢献が最も小さい変数を1つずつ取り除いていく。取り除くとモデルが悪化する時点で終了する。変数増加法とは逆に、一度除去した変数は後から戻されない。

変数増減法(ステップワイズ法)

変数増加法と同じく変数を含まないモデルから出発して変数を追加するが、追加のたびに既にモデルに含まれている変数を見直し、不要になったものがあれば取り除く。変数増加法の「一度入れた変数を外せない」という弱点を補った方法である。すべての候補変数を含むモデルから出発し、除去と追加を組み合わせる方法は「変数減増法」と呼ばれる。これらの手法は総称して「ステップワイズ法」と呼ばれることも多い。

総当たり法

候補となる説明変数のあらゆる組み合わせについてモデルを作り、AIC・Mallows' $C_p$・自由度調整済み決定係数などの基準で最良のものを選ぶ。候補が $p$ 個なら $2^p$ 通りのモデルを比較することになる。基準の上で最良のモデルが確実に見つかる一方、変数が増えると計算量が指数関数的に増える。逆に、変数増加法・変数減少法・変数増減法は計算量が少なくて済むが、最良のモデルにたどり着く保証はない。

注意点

通常の決定係数 $R^2$ は変数を追加すると必ず増える(減らない)ため、変数選択の基準には向かない。また、どの手法でも機械的な手続きだけに頼ると、解釈しづらいモデルや過学習気味のモデルになりやすい点には注意が必要である。