21. 単回帰・分散分析・残差

単回帰は $Y_i=\beta_0+\beta_1x_i+\varepsilon_i$ を考えます。ここではxを誤差のない説明値として扱い、誤差が独立・共通分散、検定では正規であるモデルです。最小二乗法は残差平方和を最小にします。

$$b_1=S_{xy}/S_{xx},\qquad b_0=\bar y-b_1\bar x,\qquad \hat y_i=b_0+b_1x_i,\quad e_i=y_i-\hat y_i.$$

相関はxとyの入替えに対称ですが、回帰はどちらを説明するかで変わります。

(1,2),(2,1),(3,4),(4,3),(5,5)では両平均3、$S_{xx}=10,S_{xy}=8,S_{yy}=10$。$b_1=0.8,b_0=0.6$ より $\hat y=0.6+0.8x$。x＝4で予測値3.8、実測値3の残差は−0.8です。

• 観測値（丸）
• 回帰直線（破線）

図の数値を表で確認する

x	観測値y	予測値	残差
1	2	1.4	0.6
2	1	2.2	-1.2
3	4	3	1
4	3	3.8	-0.8
5	5	4.6	0.4

独自の学習用データ・理論例。図と数値表はJavaScriptを使わずに表示されます。

切片ありの最小二乗では、全平方和 $S_T=S_{yy}$、回帰平方和 $S_R=S_{xy}^2/S_{xx}$、残差平方和 $S_E=S_T-S_R$。

要因	平方和	自由度	平均平方	F
回帰R	6.4	1	6.4	5.3333
残差E	3.6	3	1.2	—
合計T	10	4	—	—

$F=6.4/1.2=5.3333$ は自由度(1,3)の上側5%限界10.128を超えず、傾き0の帰無仮説を棄却できません。r＝0.8でも、標本5組では不確かさが大きい例です。

決定係数は $R^2=S_R/S_T=0.64$。この標本で全平方和の64%を直線で説明したという意味で、予測が64%当たるという意味ではありません。切片あり単回帰では $R^2=r^2$ です。

残差対予測値に曲線が残れば直線の形、扇形なら分散一定、実施順に連続した偏りがあれば独立性を疑います。残差の和0は切片あり最小二乗の性質であり、モデルが正しい証拠ではありません。

観測したxの範囲を超える外挿は、工程の仕組みが変わる可能性があります。平均応答の推定と個々の将来値の予測は不確かさが異なります。回帰係数の詳しい区間推定、重回帰、変数選択は統計記事での発展学習として区別します。

回帰分析と線形モデルで推定と診断を深めます。

平均x＝2、平均y＝7、Sxx＝5、Sxy＝10。回帰式は？

解答・解説

傾き2、切片3なので $\hat y=3+2x$ です。