6. 尤度・推定法・フィッシャー情報量

観測値を固定し、母数を動かしてデータへの適合を比較する関数が尤度です。成功8回・失敗2回のベルヌーイ標本なら $L(p)=p^8(1-p)^2$。$p$ の確率密度ではなく、積分が1になる必要もありません。

• 青実線：p⁸(1−p)²を最大値で割った曲線

チャートを読み込んでいます。数値は本文・表でも確認できます。

グラフの数値を表で確認する

成功確率p	相対尤度
0	0
0.2	0.000244
0.4	0.035156
0.6	0.400452
0.8	1
1	0

学習用のデータ・理論値。狭い画面ではグラフを横にスクロールできます。

$$\ell(p)=8\log p+2\log(1-p),\quad U(p)=\ell'(p)=\frac8p-\frac2{1-p}=0 \quad\Rightarrow\quad\hat p=0.8.$$

対数尤度の2階微分が負であり、端点も調べて最大と確認します。全成功・全失敗なら最大は境界なので、内点でスコアを0にするだけでは不十分です。

モーメント法は理論モーメントを標本モーメントに合わせます。指数分布の率なら $E(X)=1/\lambda$ を $\bar X$ と置いて $\hat\lambda=1/\bar X$。最尤法でも $n/\sum X_i$ となります。ただし一致するのはこのモデルの性質で、一般に同じ推定量にはなりません。

最小二乗法は残差平方和を最小にします。独立で同分散の正規誤差なら最尤法と一致します。正規性がなくてもガウス・マルコフの条件下ではOLSはBLUE（線形不偏推定量の中で最小分散）です。「すべての推定量の中で最良」とは言えません。

正則な1母数モデルでは、1観測の情報量を

$$I_1(\theta)=E_\theta[U_1(\theta)^2]=-E_\theta[\ell_1''(\theta)]$$

と定義します。独立標本では $I_n=nI_1$。ベルヌーイなら $I_1(p)=1/\{p(1-p)\}$、不偏推定量のクラーメル・ラオ下限は $1/I_n=p(1-p)/n$ です。$\bar X$ はこの下限を達成します。

不偏性は有限標本で期待値が母数に等しいこと、一致性は標本が大きくなると真値へ確率収束することです。効率は比較対象と損失を明記します。不偏な2推定量の相対効率を $\operatorname{Var}(T_2)/\operatorname{Var}(T_1)$ と定義すれば、大きいほど $T_1$ が高精度。バイアスがあればMSE＝分散＋バイアスの2乗も比較します。

指数標本の合計が20、$n=5$ のとき率の最尤推定値と、その不偏性は？

解答・解説

$\hat\lambda=5/20=0.25$。ただし $E(n/\sum X_i)=n\lambda/(n-1)$ なので上方バイアスがあります。$n>1$ なら $(n-1)/\sum X_i$ が不偏です。