7. 極限定理・漸近正規性・デルタ法

独立同分布で有限分散なら、$\bar X\xrightarrow{P}\mu$ が大数の弱法則です。チェビシェフの不等式 $P(|\bar X-\mu|>\varepsilon)\le\sigma^2/(n\varepsilon^2)$ から示せます。一方、中心極限定理は

$$\sqrt n(\bar X-\mu)\xrightarrow{d}N(0,\sigma^2)$$

と、誤差を拡大した形を扱います。「平均が真値に近づく」と「誤差の分布が正規に近づく」を区別します。コーシー分布では有限分散の仮定を満たさず、この結論は使えません。強い依存がある時系列でも独立標本の分散式を流用できません。

真値 $\theta_0$ の周りでスコアをテイラー展開すると

$$0=U_n(\hat\theta)\approx U_n(\theta_0)+(\hat\theta-\theta_0)\ell_n''(\theta_0).$$

正則条件と一致性の下で、$U_n/\sqrt n$ にCLT、$-\ell_n''/n$ に大数の法則を適用し、$\sqrt n(\hat\theta-\theta_0)\Rightarrow N(0,I_1(\theta_0)^{-1})$ が得られます。識別可能性、内点、微分と積分の交換などを確認します。混合モデル、境界、母数依存の支持域では通常の近似が崩れる場合があります。

$\sqrt n(T_n-\theta)\Rightarrow N(0,v)$ で $g$ が微分可能なら

$$\sqrt n\{g(T_n)-g(\theta)\}\Rightarrow N(0,g'(\theta)^2v).$$

例として $\hat p=0.4,n=100$ の対数オッズ $g(p)=\log\{p/(1-p)\}$。$g'(p)=1/\{p(1-p)\}$ なので

$$\widehat{\mathrm{SE}}\{g(\hat p)\}=\frac1{\sqrt{n\hat p(1-\hat p)}}\approx0.2041.$$

推定値は約−0.4055。95%の対数オッズ区間は約 $[-0.8055,-0.0054]$、指数で戻すとオッズ区間は約 $[0.4468,0.9946]$。これは漸近区間で、成功数が0や $n$ に近いと不安定です。

収束記号、規格化する $\sqrt n$、極限分散を明記します。$\hat\theta$ の分散は概ね $v/n$ であり、$v$ そのものではありません。スルツキーの定理は、分散の一致推定量を代入しても極限分布が保たれる根拠になります。$g'(\theta)=0$ なら一次のデルタ法は退化し、二次項と別の収束速度が必要です。

指数分布の平均 $\mu$ を標本平均で推定するとき、$\log\bar X$ の漸近標準誤差は？

解答・解説

指数分布は分散 $\mu^2$、$g'(\mu)=1/\mu$ なので $1/\sqrt n$ です。標本平均の標準誤差を対数変換の微分で補正しました。