12. 線形モデル・BLUE・一般化最小二乗

複数の条件をそろえた平均の違いを表すため、$\boldsymbol y=X\boldsymbol\beta+\boldsymbol\varepsilon$ を使います。$X$ の列数を $p$（切片を含む）、列フルランクとします。残差平方和を微分すると正規方程式 $X^TX\hat\beta=X^Ty$ となり、

$$\hat\beta=(X^TX)^{-1}X^Ty,\qquad \operatorname{Var}(\hat\beta\mid X)=\sigma^2(X^TX)^{-1}.$$

$E(\varepsilon\mid X)=0,\operatorname{Var}(\varepsilon\mid X)=\sigma^2I$ の下でBLUEです。正規誤差ならさらにt・Fの厳密推測ができます。誤差と説明変数が関連する内生性は、標準誤差だけを修正しても解決しません。

$x=0,1,2$、$y=1,2,4$ では、$\bar x=1,\bar y=7/3$、傾き $\sum(x_i-\bar x)(y_i-\bar y)/\sum(x_i-\bar x)^2=1.5$、切片 $5/6$。残差は $1/6,-1/3,1/6$、SSE＝1/6です。

切片ありの $R^2=1-\mathrm{SSE}/\mathrm{SST}=27/28\approx0.9643$。重相関係数は観測値と当てはめ値の相関で、この場合 $\sqrt{R^2}$。高い $R^2$ だけでは外部予測の良さや因果性を示しません。対数変換した応答の予測を戻す際には、平均と中央値の違いにも注意します。

$H_0:C\beta=d$、独立な制約の数 $q$ に対し

$$F=\frac{(C\hat\beta-d)^T\{C(X^TX)^{-1}C^T\}^{-1}(C\hat\beta-d)/q}{s^2} \sim F_{q,n-p}$$

が正規モデルで成り立ちます。$C$ の1行が群平均差なら線形対比。制約モデルと非制約モデルのSSEの差からも同じF統計量を計算できます。予測平均 $x_0^T\hat\beta$ の分散は $\sigma^2x_0^T(X^TX)^{-1}x_0$、個別予測誤差にはさらに $\sigma^2$ が加わります。

既知の相対共分散行列 $\Omega$ に対しGLSは $(X^T\Omega^{-1}X)^{-1}X^T\Omega^{-1}y$。不均一分散なら逆分散重み、系列相関なら相関構造も必要です。推定した $\Omega$ を使う場合、誤指定への感度を確認します。頑健標準誤差は係数を変えず分散推定を変える方法で、GLSとは違います。

多重共線性は $X^TX$ を不安定にし、係数の分散を膨らませます。VIF、条件数、推定の感度を調べます。Lassoは $\mathrm{SSE}+\lambda\sum_j|\beta_j|$ を最小化し、一部の係数を0にします。通常は切片を罰せず、変数を標準化してCVで強さを選びます。選択後に通常のt検定を無条件に使うと選択の不確実性を無視します。

残差が扇状に広がるとき、まず疑う仮定と対処は？

解答・解説

等分散性です。測定単位・関数形・外れ値も確認し、変換、分散モデルを用いたWLS/GLS、頑健標準誤差を目的に応じて検討します。