17. ベイズ推定・階層モデル

小さな店舗の成功率やまれな事象では、観測頻度だけで判断すると極端な推定になりがちです。ベイズ推定は、母数に関する事前情報を確率分布で表し、観測の尤度を掛けて更新します。

$$\pi(\theta\mid x)=\frac{L(\theta;x)\pi(\theta)}{\int L(u;x)\pi(u)du}.$$

頻度論では母数を固定して標本の変動を考え、ベイズでは観測後の母数の不確実性を分布で表します。事前分布を選んだ根拠と、その選択への感度を示すことが重要です。

事前分布 $p\sim\mathrm{Beta}(2,2)$、10回中8成功なら

$$\pi(p\mid x)\propto p^{8+2-1}(1-p)^{2+2-1},\qquad p\mid x\sim\mathrm{Beta}(10,4).$$

事後平均は $10/14=5/7\approx0.7143$、事後最頻値は $9/12=0.75$、事後分散は $40/(14^2\times15)\approx0.01361$。MLEの0.8とは異なり、事前情報の中心へ寄せられます。

• 青実線：事前Beta(2,2)
• 橙破線：事後Beta(10,4)

チャートを読み込んでいます。数値は本文・表でも確認できます。

グラフの数値を表で確認する

成功確率p	事前Beta(2,2)密度	事後Beta(10,4)密度
0	0	0
0.2	0.96	0.00075
0.4	1.44	0.161942
0.6	1.44	1.844621
0.8	0.96	3.070902
1	0	0

学習用のデータ・理論値。狭い画面ではグラフを横にスクロールできます。

次の1試行の成功確率は $\int p\pi(p\mid x)dp=5/7$。将来 $m$ 回の成功数は、$p$ の不確実性も積分するベータ二項分布です。単に $\mathrm{Bin}(m,5/7)$ とすると母数の不確実性を無視します。

事後分布の中央95%を含む区間は等裾信用区間。最短区間や最高事後密度区間とは一般に異なります。「観測とモデル・事前分布の下で、母数が区間内にある事後確率が95%」と読めます。二乗誤差損失なら事後平均、絶対誤差なら事後中央値が期待損失を最小にします。

店舗 $j$ の成功数を $X_j\mid p_j\sim\mathrm{Bin}(n_j,p_j)$、$p_j\mid a,b\sim\mathrm{Beta}(a,b)$ とすれば、店舗間の共通性を通して情報を共有します。$a,b$ にも事前分布を置くのが階層ベイズ。小標本店舗ほど共通の中心に強く縮小されます。全店舗同一率の完全プーリングと、各店舗を独立推定する非プーリングの中間です。

階層を増やせば自動的に正しくなるわけではなく、群の交換可能性、事前予測チェック、事後予測での適合確認が必要です。

一様事前Beta(1,1)で4回中0成功なら、次の成功確率は？

解答・解説

事後はBeta(1,5)、事後予測成功確率は $1/6$。観測成功率0をそのまま将来確率0とはしません。