※本記事にはプロモーション（広告）が含まれています。
- 回帰直線は、どうやって1本に決めているのかわからない
- 最小二乗法の「2乗」の意味がピンとこない
- 傾きと切片の公式を、例題で手を動かして確かめたい
- 最小二乗法の考え方と、2乗する理由
- 傾きb＝Sxy÷Sxx、切片a＝ȳ−bx̄の公式
- 5点の例題の手計算と、外れ値に弱い理由
- データを貼るだけの計算ツール
最小二乗法とは、散らばった点のあいだに直線を引くとき、それぞれの点と直線の縦のずれ（残差）を2乗して合計した値が、いちばん小さくなるように直線を決める方法です。2乗するのは、上のずれと下のずれが打ち消し合わないようにするためで、こうして決まる直線が回帰直線です。単回帰なら、傾きはb＝Sxy÷Sxx、切片はa＝ȳ−b×x̄で求められます。
最小二乗法とは？「ずれの2乗の合計」をいちばん小さくする
「良い直線」とは、すべての点のなるべく近くを通る直線です。そこで、点と直線の縦のずれ（残差）を使って、近さを数字にします。
残差 ＝ 実際の値 y − 直線の予測 ŷ
残差平方和 Se ＝ 残差の2乗の合計 → これを最小にする直線が回帰直線
なぜ「2乗」するのか
直線より上の点の残差はプラス、下の点はマイナスです。そのまま足すと打ち消し合い、どんなにずれていても合計がほぼ0になってしまいます（実際、回帰直線では残差の合計はちょうど0です）。2乗すれば、(+3)²＝9、(−3)²＝9 のように、上でも下でもプラスの数として数えられます。
絶対値でも符号は消せますが、2乗にすると計算（微分）がしやすく、傾きと切片がきれいな公式で1つに決まります。このため、回帰分析では2乗の合計を使うのが標準です。
イメージ：縦向きのバネで棒を吊る
それぞれの点から、まっすぐ縦向きのバネで1本の棒（直線）を引っぱると考えます。バネの力は伸びに比例し、ためこむエネルギーは伸びの2乗に比例します。棒は、バネ全体のエネルギー（＝ずれの2乗の合計）がいちばん小さくなる場所で止まります。その場所が回帰直線です。遠い点ほど強く引っぱるので、外れ値があると直線はそちらに引き寄せられます。
残差と誤差の違い
回帰直線の公式｜傾きと切片の求め方
回帰直線 ŷ＝a＋bx の傾きbと切片aは、次の公式で求めます。
傾き b ＝ Sxy ÷ Sxx
切片 a ＝ ȳ − b × x̄
Sxx＝Σ(x−x̄)²（xの偏差平方和）、Sxy＝Σ(x−x̄)(y−ȳ)（偏差積和）、x̄・ȳは平均
考え方は、「Seをaで微分して0、bで微分して0」とおいた2本の式（正規方程式）を解くと、この公式が出てくる、というものです。切片の式から、回帰直線は必ず平均の点（x̄, ȳ）を通ることもわかります。
| 回帰直線の性質 | 意味 |
|---|---|
| 平均の点（x̄, ȳ）を通る | データの「重心」を必ず通る |
| 残差の合計は0 | 上と下のずれがちょうどつり合う |
| 傾きの符号は相関係数と同じ | Sxyがプラスなら右上がり |
例題｜5点の回帰直線を手計算で求める
x＝1, 2, 3, 4, 5、y＝2, 4, 5, 4, 6 の回帰直線を求めます。
| x | y | x−x̄ | y−ȳ | (x−x̄)² | (x−x̄)(y−ȳ) |
|---|---|---|---|---|---|
| 1 | 2 | −2 | −2.2 | 4 | 4.4 |
| 2 | 4 | −1 | −0.2 | 1 | 0.2 |
| 3 | 5 | 0 | 0.8 | 0 | 0 |
| 4 | 4 | 1 | −0.2 | 1 | −0.2 |
| 5 | 6 | 2 | 1.8 | 4 | 3.6 |
| 平均 3 | 平均 4.2 | Sxx＝10 | Sxy＝8 |
b＝8÷10＝0.8、a＝4.2−0.8×3＝1.8。回帰直線は ŷ＝1.8＋0.8x です。残差は −0.6, 0.6, 0.8, −1.0, 0.2 で、合計は0、2乗の合計（残差平方和）は 2.4 です。
傾きを0.6や1.0に変えて（切片は平均の点を通るように合わせて）計算すると、残差平方和はどちらも2.8に増えます。0.8のときがいちばん小さい、つまり最小二乗法の答えだと確かめられます。yの偏差平方和Syy＝8.8なので、決定係数は R²＝1−2.4÷8.8≒0.73 です。
決定係数R²の意味と求め方
最小二乗法の計算ツール
xとyを同じ順番で、カンマ・スペース・改行で区切って入れてください。「ためしの傾き」に好きな値を入れると、その直線の残差平方和とくらべられます。
入力すると、その場で計算し直します。入力した数字は画面の中で計算するだけで、どこにも送信されません。
最小二乗法の弱点｜外れ値に引っぱられる
ずれを2乗するので、大きくずれた点（外れ値）ほど強く効きます。1つの外れ値で、直線が大きく傾くことがあります。
例題の最後の点 y＝6 を12に変えるだけで（ツールのyに「2, 4, 5, 4, 12」と入れてみてください）、傾きは0.8から2.0に、切片は1.8から−0.6に変わります。たった1点で、ほかの4点の傾向とまったく違う直線になります。
| 注意点 | やること |
|---|---|
| 外れ値 | 先に散布図を見る。測定ミスなら原因を確かめてから扱いを決める |
| 直線でない関係 | 曲がった関係に直線を当てはめても意味が薄い。残差のプロットで確かめる |
| 範囲の外の予測（外挿） | データのあるxの範囲の外では、直線が成り立つ保証はない |
| xとyを入れかえる | yからxを予測する直線は別の直線になる（縦のずれを最小にしているため） |
最小二乗法でよくある間違い
| よくある間違い | 正しい考え方 |
|---|---|
| 点と直線の最短距離（垂線）を使う | 回帰直線は縦（yの方向）のずれを使う |
| 傾きはSxy÷Syy | 傾きはSxy÷Sxx（xの偏差平方和で割る） |
| 残差の合計を最小にする | 合計は打ち消し合うので、2乗の合計を最小にする |
| 直線が引けたので関係がある | どんなデータでも直線は引ける。R²や検定で確かめる |
| 回帰があれば原因と結果がわかる | 相関があるだけ。因果関係は別に考える |
よくある質問
- 最小二乗法は、残差の2乗の合計を最小にする直線の決め方
- 2乗するのは、上と下のずれが打ち消し合わないため
- 傾きb＝Sxy÷Sxx、切片a＝ȳ−bx̄。直線は平均の点を通る
- 例題：ŷ＝1.8＋0.8x、残差平方和2.4、R²≒0.73
- 外れ値に弱い。先に散布図を見る
回帰分析の考え方を、楽しく復習したいときに向いています。回帰分析の考え方を、マンガで解説した本です（オーム社）。
「最小二乗法と回帰直線」の土台になる統計学を、本でじっくり学び直したいときに向いています。統計学を独学で学べるように書かれた入門書です（ダイヤモンド社、小島寛之 著）。
メーカーで電気設計と品質保証に携わってきた経験をもとに執筆しています。むずかしい専門用語をできるだけ使わず、はじめて学ぶ人がつまずかないように、図とたとえで説明することを大切にしています。
次に読むべき記事
直線が引けたら、その直線がどれくらいデータに合っているかを確かめましょう。決定係数R²に進みます。
テーマ別に、もっと深く学ぶ
気になるところから読んでも大丈夫です。どの記事も、はじめて学ぶ人向けにやさしく書いています。
