4. 単回帰と予測

相関係数は直線的な関連の強さですが、xが1増えたときのyの変化や、特定のxでの予測値は示しません。回帰直線は、xからyの平均的な傾向を表すために使います。

予測値は観測値と異なります。どの部分を直線で説明でき、どの部分が残ったかを確認するのが2級での重要な視点です。

xが1・2・3・4・5、yが2・4・5・4・5とします。平均は3と4、偏差の積和は6、xの偏差の2乗和は10です。

$$\hat y=a+bx,\qquad b=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}=0.6, \quad a=\bar y-b\bar x=2.2$$

残差 $e_i=y_i-\hat y_i$ の2乗和を最小にする直線は $\hat y=2.2+0.6x$ です。最小にしているのはy方向の差であり、点から直線への最短距離の2乗和ではありません。

• 青点：観測値
• 橙線：予測y＝2.2＋0.6x
• 縦の破線：残差

チャートを読み込んでいます。数値は本文・表でも確認できます。

グラフの数値を表で確認する

人	時間x	観測y	予測y	残差
A	1	2	2.8	-0.8
B	2	4	3.4	0.6
C	3	5	4	1
D	4	4	4.6	-0.6
E	5	5	5.2	-0.2

学習用のデータ・理論値。狭い画面ではグラフを横にスクロールできます。

傾き0.6はxが1増えたとき予測yが0.6増えることを示します。単位を伴う指標で、相関係数とは異なります。観察記録なら、介入の効果とは断定できません。

切片を含む最小二乗回帰では、

$$\underbrace{\sum(y_i-\bar y)^2}_{SST} =\underbrace{\sum(\hat y_i-\bar y)^2}_{SSR} +\underbrace{\sum(y_i-\hat y_i)^2}_{SSE}$$

が成り立ちます。SSTは全変動、SSRは回帰で説明した変動、SSEは残差変動です。記号の使い方が逆のソフトや教材もあるので、名称と定義も確認します。

例題はSST = 6、予測値2.8・3.4・4.0・4.6・5.2からSSR = 3.6、残差−0.8・0.6・1.0・−0.6・−0.2からSSE = 2.4です。

$$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}=0.6$$

決定係数0.6は、標本内のyの変動の60%をこの回帰が説明したという意味です。「60%の確率で予測が正しい」ではありません。切片を含む単回帰では $R^2=r^2$ です。

変動	平方和	自由度	平均平方
回帰	3.6	1	3.6
残差	2.4	n−2 = 3	0.8
全体	6.0	n−1 = 4	—

切片と傾きを推定したため、残差の自由度はn−2です。残差分散の推定値は $s_e^2=SSE/(n-2)=0.8$、残差標準誤差は約0.894です。yの元の単位で、直線の周囲のばらつきを表します。

回帰のF比は3.6/0.8 = 4.5ですが、数値だけで有意とは決めず、自由度1・3のF分布と比較します。係数の検定は第18章で扱います。

横軸を予測値やx、縦軸を残差にして確認します。0の周りに特定のパターンなく散らばるか、曲線になっていないか、値が大きいほど散らばりが広がる漏斗型でないかを見ます。時系列なら、残差が時間的につながっていないかも確認します。

曲線状なら線形性、漏斗型なら等分散性に疑問があります。正の量の関係で対数変換を検討することもありますが、変換後は係数の意味も変わります。例えば $\log y=a+bx$ ならxが1増えるとyのモデル上の倍率は $e^b$ で、単純な加算ではありません。

x = 3の予測値は4ですが、次の一人が必ず4になるわけではありません。平均応答の信頼区間は直線の位置の不確実さ、個々の新しい観測の予測区間はそれに個体差も加わります。通常、予測区間の方が広くなります。

観測範囲1〜5の外への予測は外挿です。同じ直線が続く根拠はなく、標本内のR²が高くても、遠い範囲や別の集団の予測精度は保証されません。

1. SST = 100、SSE = 30ならR²はいくつですか。
2. 切片を含む単回帰でn = 12、SSE = 40なら残差分散はいくつですか。
3. 残差プロットがU字型なら、何を見直しますか。

解答・解説

1. 0.7です。
2. 自由度10なので4です。残差標準誤差なら2です。
3. 直線で平均的傾向を表すことが適切かを見直します。R²だけで判断せず、変数変換やモデルの形を考えます。