21. GLM・判別・非線形モデル

割合を通常の直線で予測すると0未満や1超になり得ます。一般化線形モデル（GLM）は、指数型分布族、線形予測子 $\eta=x^T\beta$、リンク $g(\mu)=\eta$ の3要素で応答に合った平均構造を作ります。

$$f(y;\theta,\phi)=\exp\left\{\frac{y\theta-b(\theta)}{a(\phi)}+c(y,\phi)\right\},\quad E(Y)=b'(\theta),\quad\operatorname{Var}(Y)=a(\phi)b''(\theta).$$

二項にはロジット、ポアソンには対数リンクが代表例。件数の観測時間が違うなら $\log t$ を係数1のオフセットとして加えます。過分散や依存が残る場合、標準的GLMの分散仮定を見直します。

$\log\{p/(1-p)\}=-2+0.8x$ なら、$x=0$ で $p\approx0.1192$、$x=1$ で約0.2315。1単位増加のオッズ比は $e^{0.8}\approx2.2255$ ですが、確率比ではありません。限界効果は $dp/dx=0.8p(1-p)$ で、同じ係数でも基準確率に依存します。

プロビットは $p=\Phi(x^T\beta)$。潜在正規変数が閾値を超えるという解釈ができ、ロジットとは係数の尺度が異なります。完全分離するとロジスティックMLEが有限にならない場合があり、正則化などを検討します。

線形判別分析（LDA）は各クラスの多変量正規分布と共通共分散を仮定し、事後確率が最大の群を選びます。群別共分散を許すQDAは二次境界となり、より多くのデータが必要です。学習時のクラス比率と実際の運用の事前確率が違う場合、閾値や較正を調整します。

SVMはマージンを重視し、たとえばヒンジ損失で

$$\min_{w,b}\frac12\|w\|^2+C\sum_i\max\{0,1-y_i(w^Tx_i+b)\}$$

を解きます。カーネルは非線形な境界を表せますが、$C$ やカーネル幅を検証用データで調整し、標準化を訓練内で行います。出力はそのまま確率とは限りません。

$E(Y\mid x)=a(1-e^{-bx})$ のように係数に非線形な平均を置くモデルは非線形回帰です。反復最適化、初期値、局所解、識別性を確認します。説明変数の2乗を入れても係数に線形なら線形回帰です。「曲線＝GLM」「曲線＝非線形回帰」とは限りません。

ロジット係数 $\log2$ は確率が2倍になるという意味か？

解答・解説

オッズが2倍です。基準確率0.2ならオッズ0.25が0.5になり、確率は1/3です。確率比は約1.667です。