11. KL情報量・AIC・交差検証

説明変数を増やせば学習データへの適合は改善しがちですが、未知データでの予測が改善するとは限りません。モデル評価では「何に対する誤差を減らしたいか」を先に決めます。因果効果の推定、将来予測、分布の近似は同じ課題ではありません。

真の密度を $g$、近似密度を $f_\theta$ とすると

$$D_{\mathrm{KL}}(g\Vert f_\theta)=\int g(x)\log\frac{g(x)}{f_\theta(x)}dx\ge0.$$

真の分布の下での対数予測密度を最大にすることは、母数によらない項を除けばKLを小さくすることです。KLは非対称で、距離の公理をすべて満たすわけではありません。

最大化した対数尤度 $\ell(\hat\theta)$ と、分散なども含む自由母数の数 $k$ から $\mathrm{AIC}=-2\ell(\hat\theta)+2k$ を計算し、小さい候補を選びます。同じ観測データと整合する尤度で比較することが前提です。

モデルAが $\ell=-120,k=3$、モデルBが $\ell=-116,k=6$ ならAICは246と244。Bの適合改善8に対し、複雑さの増加に6の罰則を加えています。差2はBが真だという証明ではなく、候補集合に依存する比較です。小標本ではAICcなどの補正も考えます。単に残差平方和へ $2k$ を足してもAICにはなりません。

1. 観測単位を独立な単位ごとに訓練・検証へ分割する。
2. 欠測補完、標準化、特徴選択を訓練データだけで学習する。
3. 検証データへ同じ変換を適用し、予測損失を計算する。
4. 分割を繰り返し平均とばらつきを確認する。

同じ患者の繰り返し測定を別の分割へ入れると情報が漏れます。時系列は未来から過去を予測しないよう、時点順に分割します。ハイパーパラメータ選択と性能報告を同じ検証結果だけで行うと楽観的になるため、外側の評価用分割やnested CVを使います。

回帰には二乗誤差や絶対誤差、確率予測には対数損失やBrier scoreを使います。分類正解率だけでは、まれなクラスを全部外しても高得点になり得ます。予測性能の良いモデルでも、交絡を調整していなければ係数を因果効果として読めません。

全データを標準化してから交差検証するのはなぜ問題か？

解答・解説

検証部分の平均・分散が訓練の前処理に入り込みます。将来の未知データでは使えない情報を使うため、各分割内の訓練部分で標準化を学習します。