18. 回帰係数の推測と重回帰

手元の標本から傾き0.6の直線が得られても、別の標本なら違う直線になります。係数の信頼区間や検定は、その推定の不確実さを評価する方法です。さらに重回帰では、複数の説明変数を同時に入れて、他を一定にした関連を読みます。

古典的な線形回帰の推測では、条件付き平均の線形性、誤差の独立性、分散一定、誤差の平均0を前提とし、小標本でt・Fを正確に使うには誤差の正規性も仮定します。xそのものが正規分布でなければならない、という条件ではありません。

$S_{xx}=\sum(x_i-\bar x)^2$、残差分散 $s_e^2=SSE/(n-2)$ とすると、

$$\mathrm{SE}(\hat\beta_1)=\frac{s_e}{\sqrt{S_{xx}}},\qquad T=\frac{\hat\beta_1-\beta_{1,0}}{\mathrm{SE}(\hat\beta_1)}\sim t_{n-2}$$

です。切片の標準誤差は $s_e\sqrt{1/n+\bar x^2/S_{xx}}$。係数の95%区間は、推定値±t0.975×SEです。

単回帰の例ではn = 5、傾き0.6、Sxx = 10、SSE = 2.4、残差分散0.8です。傾きのSEは√(0.8/10) ≈ 0.2828、t = 0.6/0.2828 ≈ 2.121、自由度3です。

両側p ≈ 0.1240で5%では棄却しません。決定係数が0.6でも、わずか5組では傾きの不確実さが大きいことが分かります。95%区間は約**−0.300〜1.500**です。単回帰ではF = t² = 4.5で、全体のF検定と同じ判断になります。

x0での平均応答のSEは、

$$s_e\sqrt{\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}}$$

です。新しい一件の予測では根号内に1を加えます。どちらも予測値を中心にt点を掛けて区間にします。新しい個体の誤差も加わるため、予測区間の方が広くなります。

平均xに近いほど直線の位置は精密に推定され、遠いほど不確実さが大きくなります。観測範囲外への外挿では、モデルそのものが続くかも分かりません。

$$Y=\beta_0+\beta_1X_1+\cdots+\beta_kX_k+\varepsilon$$

βjは、他の説明変数を一定としたとき、Xjが1変わることに対応する平均Yの変化です。XjとYだけの単回帰の傾きとは一般に異なります。条件をそろえた関連を表すのであって、観察データから因果効果が自動的に分かるわけではありません。

切片を含み、説明変数の列が完全には重ならない場合、残差自由度はn−k−1です。各係数のt統計量は「推定値−帰無値」をその係数のSEで割ります。全傾き0という仮説は回帰全体のF検定で評価します。

予測式が $\hat y=10+2x+5D$、D = 0がA店、D = 1がB店とします。x = 3ならA店の予測16、B店21。係数5は、同じxでB店の予測が5高いことを示します。

分類が3つなら、切片があるモデルでは通常2つのダミーを使い、残りを基準にします。全分類のダミーと切片を同時に入れると完全な線形従属が生じ、係数を一意に決められません。

説明変数が互いに強く関連すると、予測全体が大きく変わらなくても各係数が不安定になり、SEが大きくなることがあります。X2 = 2X1のような完全な関係では、通常の係数推定が一意にできません。相関行列や変数の作り方を確認します。

説明変数を増やすと、標本内の通常のR²は下がりません。そこで複雑さを自由度で調整した、

$$\bar R^2=1-\frac{SSE/(n-k-1)}{SST/(n-1)} =1-(1-R^2)\frac{n-1}{n-k-1}$$

を使うことがあります。n = 30、k = 2、R² = 0.64なら調整済みR² ≈ 0.6133です。変数を増やすとこちらは下がる場合があります。調整済みでも、別データでの予測精度や因果関係の保証ではありません。

目的変数と説明変数、単位・ダミーの基準、使用人数を確認し、係数の符号と大きさ、SE・区間・p値、R²と残差を見ます。p値が大きいだけで変数が無意味と断定せず、多重共線性や標本の大きさも考えます。

1. 推定係数2、SE0.5、帰無値0ならtはいくつですか。
2. 切片と説明変数3個、n = 40の残差自由度はいくつですか。
3. ダミーDの係数が−4なら、D = 0と比べD = 1の予測は、他条件一定でどう違いますか。

解答・解説

1. 4です。
2. 40−3−1 = 36です。
3. 4低いと読みます。基準分類と単位を明示します。