8. 回帰直線と予測

相関係数からは、二つの数値の直線的な関連の向きと強さが分かります。しかし「練習時間が1時間増えたとき、得点はどのくらい違う傾向か」「3時間のときの予測得点は何点か」には、それだけでは答えられません。

回帰直線は、xからyの平均的な傾向を直線で表す方法です。観測値そのものを完全に再現するものでも、原因と結果を自動的に表すものでもありません。

相関の章と同じ、xが1・2・3・4・5時間、yが2・4・5・4・5点のデータを使います。平均はxが3、yが4、xの分散は2、共分散は1.2です。

直線を $\hat y=a+bx$ と書きます。$\hat y$ は予測値、$a$ は切片、$b$ は傾き（回帰係数）です。

観測値と予測値の差 $e_i=y_i-\hat y_i$ を残差と呼びます。残差の合計だけでは正負が打ち消されるため、その2乗を合計します。

$$\sum_{i=1}^{n}\{y_i-(a+bx_i)\}^2$$

この値を最小にする直線を求めるのが最小二乗法です。最小にするのは図の点から直線への垂直な最短距離ではなく、y方向の差の2乗和であることに注意します。

$$b=\frac{c_{xy}}{v_x}=r\frac{s_y}{s_x}, \qquad a=\bar y-b\bar x$$

例では $b=1.2/2=0.6$、$a=4-0.6\times3=2.2$。したがって回帰直線は、

$$\hat y=2.2+0.6x$$

です。この直線は必ず平均の点 $(\bar x,\bar y)=(3,4)$ を通ります。なお、xの分散が0の場合はこの式の傾きは求められません。

• 青点：観測値
• 橙線：予測y＝2.2＋0.6x
• 縦の破線：残差

チャートを読み込んでいます。数値は本文・表でも確認できます。

グラフの数値を表で確認する

人	時間x	観測y	予測y	残差
A	1	2	2.8	-0.8
B	2	4	3.4	0.6
C	3	5	4	1
D	4	4	4.6	-0.6
E	5	5	5.2	-0.2

学習用のデータ・理論値。狭い画面ではグラフを横にスクロールできます。

傾き0.6は、今回のデータの直線的な傾向として、練習時間が1時間多いと予測得点が0.6点高いことを表します。単位は「点／時間」です。練習を1時間増やす介入の効果を0.6点と証明したわけではありません。

切片2.2はx = 0を代入した予測です。ただし観測した時間は1〜5時間なので、0時間で本当に2.2点になるかはこのデータだけでは分かりません。係数は数式上の意味と、実際に解釈できる範囲を分けて読みます。

x	観測y	予測y	残差y−予測y
1	2	2.8	−0.8
2	4	3.4	0.6
3	5	4.0	1.0
4	4	4.6	−0.6
5	5	5.2	−0.2

残差の2乗和は0.64 + 0.36 + 1 + 0.36 + 0.04 = 2.4です。残差を見ることで、直線で表し切れない違いが分かります。残差が曲線状に並ぶ場合は、そもそも直線による要約が適さないかもしれません。

3.5時間の予測は2.2 + 0.6 × 3.5 = 4.3点です。これは観測範囲内での補間的な予測です。一方、20時間なら14.2点になりますが、観測範囲を大きく外れています。満点を超えるなど不合理な予測にもなり得ます。観測範囲外への予測を外挿と呼び、特に慎重に扱います。

xからyを予測する直線と、yからxを予測する直線は、通常は同じではありません。最小にする誤差の方向が変わるからです。例では逆向きの傾きは1.2/1.2 = 1、切片は3 − 1 × 4 = −1で、$\hat x=-1+y$ です。元の式を単純にxについて解いたものとは異なります。

どちらを説明変数、どちらを予測する目的変数にするかを、問いに合わせて先に決めましょう。

1. xの平均10、yの平均25、xの分散4、共分散6なら、yをxで予測する回帰直線を求めてください。
2. 例題のx = 4で、観測が4点の残差はいくつですか。
3. 観測範囲が1〜5時間のとき、50時間の予測をそのまま使う問題点は何ですか。

解答・解説

1. 傾き6/4 = 1.5、切片25 − 1.5 × 10 = 10。$\hat y=10+1.5x$ です。
2. 予測は4.6点なので、残差は**−0.6点**です。
3. 大きな外挿で、同じ直線的関係が続く根拠がありません。予測可能範囲や対象が変わっていないかを確認する必要があります。