5. 順序統計量・十分性・標本分布

全データを保存する代わりに、合計や平均だけで母数について同じ推論ができる場合があります。この「母数に関する情報を残す要約」が十分統計量です。単なる情報量の少ない要約との違いを、密度の分解で示します。

独立同分布の標本で尤度が $f_\theta(\boldsymbol x)=g_\theta(T(\boldsymbol x))h(\boldsymbol x)$ と分解できれば、ネイマンの分解定理により $T$ は十分です。ベルヌーイ標本では $p^{\sum x_i}(1-p)^{n-\sum x_i}$ なので合計が十分。正規で平均・分散とも未知なら $\sum X_i,\sum X_i^2$ が十分です。

十分な統計量で不偏推定量を条件付き平均すると、期待値を保ったまま分散を増やさずに済みます。これがラオ・ブラックウェル化の考え方です。十分であることと、推定量そのものが不偏であることは別の性質です。

小さい順に $X_{(1)}\le\cdots\le X_{(n)}$ と並べます。連続分布の $r$ 番目の密度は

$$f_{(r)}(x)=\frac{n!}{(r-1)!(n-r)!}F(x)^{r-1}\{1-F(x)\}^{n-r}f(x).$$

「左側が $r-1$ 個、微小区間が1個、右側が $n-r$ 個」と数えることで導けます。最大値は $P(X_{(n)}\le x)=F(x)^n$。外れた観測や端点の推定には平均の標本分布ではなく、こうした分布が必要です。

$X_i\sim U(0,\theta)$ なら最大値 $M$ の密度は $nm^{n-1}/\theta^n$、$0<m<\theta$。尤度は $\theta^{-n}1\{M<\theta\}$ なので $M$ が十分です。

$$E(M)=\frac{n\theta}{n+1},\quad \operatorname{Var}(M)=\frac{n\theta^2}{(n+1)^2(n+2)}.$$

最大値は上端を過小推定します。不偏化は $(n+1)M/n$。$n=4,M=8$ なら10です。母数で支持域が変わるため、通常の正則条件の下でのクラーメル・ラオ下限をそのまま適用してはいけません。

正規標本では $\bar X$ と不偏分散 $S^2$ が独立で、$(n-1)S^2/\sigma^2\sim\chi^2_{n-1}$。そのため $\sqrt n(\bar X-\mu)/S\sim t_{n-1}$ が得られます。独立なカイ二乗を自由度で割った比がF分布です。正規性がない場合、これらの有限標本での厳密性は一般に失われます。

$U(0,1)$ から3個取った最大値が0.8以下の確率は？

解答・解説

3個すべてが0.8以下なので $0.8^3=0.512$。最大値は $\mathrm{Beta}(3,1)$ に従います。