点推定の性質の解説 | 統計検定®ドリル

Q1 · 2級 · 暗記 · 4択

推定量 $\hat{\theta}$ が母数 $\theta$ の「不偏推定量」であるとは、どのような性質を満たすことをいうか。

推定量の期待値 $E[\hat{\theta}]$ が母数 $\theta$ と一致すること
推定量の分散が常に0になること(全くばらつかないこと)
推定量が標本サイズに関わらず、常に一定の値をとること
推定量が母数より必ず大きい値をとること(常に過大評価すること)

答え

推定量の期待値 $E[\hat{\theta}]$ が母数 $\theta$ と一致すること

偏り(バイアス)

$E[\hat{\theta}] - \theta$ を推定量の偏り(バイアス)と呼ぶ。不偏推定量はこの偏りが常に0になる推定量のことを指す。

Q2 · 2級 · 暗記 · 4択

母集団から無作為抽出した標本 $X_1, \dots, X_n$ の標本平均 $\bar{X}$ について、母平均 $\mu$ の推定量としての性質の説明として、正しいものはどれか。

標本平均の期待値は母平均 $\mu$ に一致するため、不偏推定量である
標本平均の期待値は標本サイズによらず必ず0になる
標本平均は標本サイズが大きくなるほど母平均から遠ざかっていく
標本平均は母平均の不偏推定量にはなり得ない

答え

標本平均の期待値は母平均 $\mu$ に一致するため、不偏推定量である

期待値の計算

各 $X_i$ が平均 $\mu$ の同一分布に従うとすると、期待値の線形性から $$ E[\bar{X}] = E\left[\frac{1}{n}\sum_{i=1}^{n} X_i\right] = \frac{1}{n}\sum_{i=1}^{n} E[X_i] = \frac{1}{n} \cdot n\mu = \mu $$ となり、標本平均の期待値は常に母平均 $\mu$ に一致する。

Q3 · 2級 · 暗記 · 一問一答

不偏分散の定義式を書け。

答え

$s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2$

なぜ n-1 で割るのか

標本平均 $\bar{x}$ を推定に使うことで自由度が1つ失われるため。 $n$ で割った標本分散の期待値は $\frac{n-1}{n}\sigma^2$ となり、母分散を過小評価する。

標本分散との使い分け

記述統計として手元のデータのばらつきを述べるだけなら $n$ で割ってよい。母分散の推定量として使う場合に $n-1$ が必要になる。

Q4 · 2級 · 計算 · 一問一答

母分散が $\sigma^2 = 36$ の母集団から大きさ $n = 9$ の標本を無作為抽出するとき、標本平均 $\bar{X}$ の分散を求めよ。

答え

4

解き方

$$ V[\bar{X}] = \frac{\sigma^2}{n} $$

$$ V[\bar{X}] = \frac{36}{9} = 4 $$

Q5 · 2級 · 暗記 · 4択

推定量の性質のひとつである「一致性」の説明として、正しいものはどれか。

標本サイズ $n$ を大きくしていくと、推定量の値が真のパラメータの値に確率的に近づいていく性質
推定量の期待値が、標本サイズによらず常に真のパラメータの値と一致する性質
標本サイズによらず、推定量の分散が常に一定になる性質
推定量が必ず整数値をとる性質

答え

標本サイズ $n$ を大きくしていくと、推定量の値が真のパラメータの値に確率的に近づいていく性質

一致性をもつ推定量の例

標本平均 $\bar{X}$ は $E[\bar{X}] = \mu$、$V[\bar{X}] = \dfrac{\sigma^2}{n}$ を満たす。標本サイズ $n$ を大きくすると分散が0に近づくため、$\bar{X}$ の分布は母平均 $\mu$ のまわりに集中していき、$\bar{X}$ は $\mu$ に確率収束する(大数の法則)。したがって標本平均は母平均の一致推定量である。

Q6 · 2級 · 暗記 · 4択

同じ母数 $\theta$ に対する2つの不偏推定量 $\hat{\theta}_1, \hat{\theta}_2$ を比較するとき、「有効性」の観点からより望ましいとされる推定量の条件として、正しいものはどれか。

分散がより小さい推定量の方が、有効性が高いとされる
分散がより大きい推定量の方が、有効性が高いとされる
期待値がより大きい推定量の方が、有効性が高いとされる
計算式がより簡単な推定量の方が、常に有効性が高いとされる

答え

分散がより小さい推定量の方が、有効性が高いとされる

なぜ分散の小ささを重視するのか

不偏推定量どうしを比較する場合、期待値はいずれも真の母数 $\theta$ に一致している。そのため推定量ごとの優劣は、真の値のまわりでどれだけ値がばらつきにくいか(分散の小ささ)によって決まる。分散がより小さい不偏推定量ほど、少ない標本でも真の値に近い値が得られやすく、有効性が高いとされる。

Q7 · 2級 · 暗記 · 4択

推定量の性質である「不偏性」と「一致性」の関係についての説明として、正しいものはどれか。

不偏性は期待値が母数と一致する性質、一致性は標本サイズを大きくすると母数に確率収束する性質で、両者は別の概念である
不偏性と一致性はどちらも「推定量の期待値が母数と一致する」という同じ意味の概念であり、一方が成り立てば必ず他方も成り立つ
一致性(標本サイズを増やすと母数に近づく性質)が成り立てば、不偏性も自動的に成り立つ
不偏性(期待値が母数と一致する性質)が成り立てば、一致性は成り立たなくなる

答え

不偏性は期待値が母数と一致する性質、一致性は標本サイズを大きくすると母数に確率収束する性質で、両者は別の概念である

両者が食い違う例

例えば、標本分散を $\dfrac{1}{n}\sum_{i=1}^{n} (x_i-\bar{x})^2$ のように $n$ で割って定義すると、この推定量の期待値は $\dfrac{n-1}{n}\sigma^2$ となり母分散 $\sigma^2$ と一致しない(不偏性を持たない)。しかし $n \to \infty$ のとき $\dfrac{n-1}{n} \to 1$ となるため、この推定量は標本サイズを大きくすると母分散に近づいていく(一致性を持つ)。このように、不偏性を持たない推定量が一致性を持つことはあり得る。

Q8 · 2級 · 暗記 · 4択

推定量 $\hat{\theta}$ の「平均二乗誤差(MSE)」の説明として、正しいものはどれか。

推定量と真の母数との差の二乗の期待値 $E[(\hat{\theta}-\theta)^2]$ で、分散とバイアスの二乗の和に分解できる
推定量の分散のみを表す指標であり、偏り(バイアス)の影響は一切含まれないとされる指標
推定量の期待値と標本平均との差だけを表す、バイアスに関する指標の一種
標本サイズを2倍にすると、値が必ず半分になるという性質を持つとされる指標

答え

推定量と真の母数との差の二乗の期待値 $E[(\hat{\theta}-\theta)^2]$ で、分散とバイアスの二乗の和に分解できる

分散とバイアスへの分解

$$ \mathrm{MSE}(\hat{\theta}) = V[\hat{\theta}] + \left(E[\hat{\theta}] - \theta\right)^2 $$ 不偏推定量($E[\hat{\theta}]=\theta$)であれば第2項が0になり、$\mathrm{MSE}$ は分散と一致する。一方、多少の偏りを許容してでも分散を大きく減らせる推定量の方が、MSEで見ると優れている場合もある。