各種推定法の解説 | 統計検定®ドリル

Q1 · 2級 · 計算 · 一問一答

ある工場の製品600個を無作為抽出して検査したところ、不良品が24個見つかった。この製品全体の不良率 $p$ の点推定値 $\hat{p}$ を求めよ。

答え

0.04

解き方

$$ \hat{p} = \frac{24}{600} = 0.04 $$

Q2 · 2級 · 計算 · 一問一答

母集団から無作為に抽出した標本 $4, 6, 5, 7, 8$ が得られた。この標本から母分散の不偏推定量(不偏分散) $s^2$ を求めよ。

答え

2.5

解き方

標本平均は $\bar{x} = \frac{4+6+5+7+8}{5} = \frac{30}{5} = 6$。

各データの偏差の2乗は $(4-6)^2=4,\ (6-6)^2=0,\ (5-6)^2=1,\ (7-6)^2=1,\ (8-6)^2=4$ で、偏差平方和は $4+0+1+1+4=10$。

不偏分散は $s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2 = \frac{10}{5-1} = \frac{10}{4} = 2.5$ となる。標本サイズ $n$ ではなく $n-1$ で割ることで、母分散の不偏推定量になる点がポイント。

Q3 · 2級 · 暗記 · 4択

モーメント法(積率法)によるパラメータ推定の考え方として、正しいものはどれか。

母集団のモーメントと標本のモーメントを等しいと置いて推定する方法
尤度関数を最大にするパラメータの値を推定値とする方法
標本の中央値を、そのままパラメータの推定値とする方法
パラメータの事前分布を仮定し、ベイズの定理から推定値を求める方法

答え

母集団のモーメントと標本のモーメントを等しいと置いて推定する方法

モーメント法の特徴

モーメント法は尤度関数を扱わず、「母集団のモーメント=標本のモーメント」という方程式を解くだけで推定値が得られるため、計算が比較的簡単になる場合が多いという特徴がある。

Q4 · 2級 · 計算 · 一問一答

区間 $[0,\ \theta]$ 上の一様分布に従う母集団から大きさ $n=5$ の標本を無作為抽出したところ、$2.1,\ 4.6,\ 3.3,\ 1.2,\ 3.8$ が得られた。モーメント法により、$\theta$ の推定値 $\hat{\theta}$ を求めよ。

答え

6

解き方

区間 $[0,\ \theta]$ 上の一様分布の母平均(1次の母集団モーメント)は $$ E[X] = \frac{0 + \theta}{2} = \frac{\theta}{2} $$ である。一方、標本平均(1次の標本モーメント)は $$ \bar{x} = \frac{2.1 + 4.6 + 3.3 + 1.2 + 3.8}{5} = \frac{15}{5} = 3 $$ である。

モーメント法では母集団のモーメントと標本のモーメントを等しいと置くので、 $$ \frac{\hat{\theta}}{2} = 3 $$ より $\hat{\theta} = 2\bar{x} = 6$ となる。

最尤法との違い

同じデータから最尤法で $\theta$ を推定すると、尤度関数 $L(\theta) = \dfrac{1}{\theta^n}$($\theta$ が標本の最大値以上のとき)は $\theta$ が小さいほど大きくなるため、最尤推定値は標本の最大値 $4.6$ となる。このように、同じデータでも推定法によって推定値は異なりうる。

Q5 · 2級 · 暗記 · 4択

最尤法で用いる尤度関数 $L(\theta)$ の説明として、正しいものはどれか。

観測データを固定し、その同時確率(密度)をパラメータ $\theta$ の関数とみなしたもの
観測データが得られたもとで、パラメータが $\theta$ という値である確率を表した関数
パラメータ $\theta$ を固定し、これから観測するデータの値を変数とみなした確率分布そのもの
各データと標本平均との差の二乗和を、パラメータ $\theta$ の関数として表したもの

答え

観測データを固定し、その同時確率(密度)をパラメータ $\theta$ の関数とみなしたもの

尤度と確率の違い

例えば、成功確率 $p$ のベルヌーイ試行を10回行い7回成功したとき、尤度関数は $$ L(p) = p^7(1-p)^3 $$ となる。式の形は「$p$ を固定したときにこのデータが得られる確率」と同じだが、尤度関数ではデータを固定して $p$ を動かす。

尤度関数は $p$ の確率分布ではない。実際、上の $L(p)$ を $p$ について0から1まで積分すると $\dfrac{1}{1320}$ となり、1にならない。「パラメータが $\theta$ という値である確率」を考えるには、パラメータ自体を確率変数とみなすベイズ統計の枠組み(事後確率)が必要になる。

最尤法は、この尤度関数を最大にする $\theta$ の値を推定値とする方法である。

Q6 · 2級 · 計算 · 一問一答

ベルヌーイ分布に従う母集団から大きさ $n=10$ の標本を無作為抽出したところ、成功(値1)が7回、失敗(値0)が3回観測された。成功確率 $p$ の最尤推定値 $\hat{p}$ を求めよ。

答え

0.7

解き方

成功回数を $k$、標本サイズを $n$ とすると、尤度関数は $$ L(p) = p^{k}(1-p)^{n-k} $$ となる。積のままでは微分しにくいため、対数をとった対数尤度を考える。 $$ \log L(p) = k \log p + (n-k) \log (1-p) $$

対数尤度を $p$ で微分して0と置くと、 $$ \frac{d}{dp} \log L(p) = \frac{k}{p} - \frac{n-k}{1-p} = 0 $$ 両辺に $p(1-p)$ を掛けると $k(1-p) = (n-k)p$ となり、これを整理して $p = \dfrac{k}{n}$ を得る。最尤推定値は標本比率と一致する。 $$ \hat{p} = \frac{k}{n} = \frac{7}{10} = 0.7 $$

推定量と推定値

成功回数を確率変数 $K$ として表した式 $\hat{p} = \dfrac{K}{n}$ を最尤推定量、実際に観測されたデータ($k=7$)を代入して得られる具体的な値 $0.7$ を最尤推定値と呼ぶ。本問は数値を求めているため「推定値」となる。