【計算例あり】重回帰の正規方程式｜偏回帰係数と切片を求める全手順を完全図解

前回の記事で、偏回帰係数の「意味」は理解できたと思います。

では、その偏回帰係数はどうやって計算するのでしょうか？

答えは「正規方程式」を解くことです。

名前は難しそうですが、やっていることは中学校で習った「連立方程式」を解くだけです。

この記事では、具体的な数値を使って、一緒に手を動かしながら計算していきましょう。

🎯 正規方程式とは？

まず、正規方程式が何なのかを理解しましょう。

📌 一言でいうと

「残差の2乗和を最小にする」という考え方は、単回帰分析の「最小二乗法」と同じです。

🤔 なぜ「正規」という名前？

「正規方程式」の「正規」は、英語の "normal equation" の訳です。

ここでの "normal" は「正規分布」の意味ではなく、「直交する」という意味です。残差ベクトルが説明変数ベクトルに直交する、という幾何学的な性質から来ています。

📝 正規方程式の形

説明変数が2つ（x₁, x₂）の場合、正規方程式は以下の3本の連立方程式になります。

未知数はβ₀（切片）、β₁（x₁の偏回帰係数）、β₂（x₂の偏回帰係数）の3つです。

方程式が3本、未知数が3つなので、この連立方程式を解けばβ₀, β₁, β₂が求まります。

📊 具体例で計算してみよう

では、実際に数値を使って計算してみましょう。

📋 例題：製品の強度を予測する

ある工場で、製品の強度（y）が、温度（x₁）と圧力（x₂）にどう影響されるかを調べました。

このデータから、重回帰式 y = β₀ + β₁x₁ + β₂x₂ の係数を求めます。

🔢 Step 1：必要な統計量を計算する

正規方程式に代入するために、まず以下の統計量を計算します。

🔢 Step 2：正規方程式に代入する

計算した統計量を正規方程式に代入しましょう。

これで、β₀、β₁、β₂を求める3元1次連立方程式ができました。

🔢 Step 3：連立方程式を解く

連立方程式を解く方法はいくつかありますが、ここでは代入法で解いてみます。

Step 3-1：①式からβ₀を表す

①式を変形して、β₀を他の変数で表します。

Step 3-2：②式と③式に代入してβ₀を消去

β₀ = 9.4 − 3β₁ − 1.8β₂ を②式と③式に代入します。

②式に代入：

③式に代入：

Step 3-3：2元連立方程式を解く

これで β₁ と β₂ の2元連立方程式になりました。

③'を2倍して②'から引きます。

β₂ を②'に代入してβ₁を求めます。

最後に、β₁とβ₂を①'に代入してβ₀を求めます。

🎉 Step 4：結果をまとめる

これで、すべての係数が求まりました！

📝 係数の解釈

✅ 検算してみよう

求めた式が正しいか、元のデータで検算してみましょう。

残差（実測値−予測値）が小さく、よく当てはまっていることがわかります。

🔧 実務での計算方法

実際の仕事や研究では、手計算ではなくツールを使うのが一般的です。

📊 Excelの場合

Excelの「データ分析」→「回帰分析」を使えば、一発で偏回帰係数が求まります。

• 「データ」タブ →「データ分析」→「回帰分析」を選択
• Y範囲（目的変数）とX範囲（説明変数）を指定
• 「OK」を押すと、係数・決定係数・検定結果などが一括出力

🐍 Pythonの場合

Pythonなら、scikit-learnやstatsmodelsライブラリで簡単に計算できます。

from sklearn.linear_model import LinearRegression
import numpy as np

X = np.array([[1,1], [2,1], [3,2], [4,2], [5,3]])
y = np.array([5, 7, 10, 11, 14])

model = LinearRegression()
model.fit(X, y)

print("切片:", model.intercept_)      # β₀
print("係数:", model.coef_)           # β₁, β₂

📋 まとめ

この記事では、重回帰分析で偏回帰係数を求める「正規方程式」を、具体的な数値例で解説しました。

正規方程式の計算は、中学校の連立方程式と同じです。難しく考えず、順番に消去していけば必ず解けます。

次は、求めた重回帰式が「統計的に意味があるか」を検定する方法を学びましょう。