※本記事にはプロモーション(広告)が含まれています。
結論|まず30秒でわかる答え
残差は実測値−予測値(ei=yi−ŷi)で、手元のデータから計算できるズレです。誤差は実測値−真の値(εi)で、真の値がわからないため直接は計算できません。回帰分析では、計算できる残差を調べて、見えない誤差が仮定(平均0・等分散・独立・正規分布)を満たしているかを確かめます。
「残差」と「誤差」、どちらも「ズレ」を表す言葉ですが、実はまったく違う世界を見ています。
📊 残差 = 手元のデータで計算できる「見えるズレ」
❓ 誤差 = 理論上の概念で計算できない「見えないズレ」
この違いを理解すれば、回帰分析の結果が正しいかを確かめられるようになります。
📌 この記事で分かること
- 残差と誤差の決定的な違いを一枚の図で理解
- 残差の計算方法を3ステップで完全マスター
- 残差プロットでモデルの問題点を診断する方法
- 誤差の4つの仮定と残差を使った確認方法
回帰分析を勉強していると、必ず出てくる2つの用語があります。
それが「残差(Residual)」と「誤差(Error)」です。
「モデルの当てはまりを確かめるために残差を見ましょう」と聞いて、
「それって"誤差"と同じじゃないの?」と感じたことはありませんか?
💡 実はこの2つ、見ている世界が違うので、混同すると理解が一気に難しくなります。
この記事では、統計学において超重要なこの2つの概念を、初心者でも完全に理解できるよう、図解をたっぷり使って徹底解説します。
残差と誤差の違いを一枚で理解
まずは、残差と誤差の違いを一覧表で整理しましょう。
この表を見れば、2つの概念がどう違うのか一目瞭然です。
残差は計算できる、誤差は理論上の概念
| 比較項目 |
残差 (Residual) |
誤差 (Error) |
| 対象 |
サンプル(手元のデータ) |
母集団(未知の真のモデル) |
| 定義 |
実測値 − 予測値 |
実測値 − 真の値 |
| 記号例 |
ei |
εi |
| 計算できる? |
✅ できる(データから算出) |
❌ できない(真の値が不明) |
| 主な用途 |
当てはまり診断・外れ値検出 |
理論モデルの前提・推定の基礎 |
💡 ポイント
- 残差は「観測できるズレ」で、実際に計算できる
- 誤差は「理想の世界と現実のズレ」で、直接は測れない
- 残差は誤差の"見える化"に相当し、解析後の健康診断に使う
つまり、残差は「見える世界」、誤差は「見えない世界」なのです。
でも、残差を調べることで、見えない誤差の性質を推測できるというわけですね!
☕ コーヒーブレイク
「誤差」は英語で"Error"ですが、これは「間違い」という意味ではありません。
むしろ「モデルでは説明しきれない、ランダムな要因」を指します。
だから、誤差があること自体は悪いことではないんです!
残差が生まれるまで:3ステップでイメージ
それでは、残差がどうやって生まれるのかを、具体例を使って3ステップで見ていきましょう。
ここでは、「勉強時間」と「テスト点数」の関係を分析する例を考えます。
残差の計算3ステップ:散布図・回帰直線・残差
📈 STEP 1:散布図を描く
まず、横軸に勉強時間(x)、縦軸にテスト点数(y)をとって、データの点をプロットします。
点の「雲」を観察すると、右肩上がりの関係がありそうだと感覚的につかめますね。
📐 STEP 2:回帰直線を引く
次に、最小二乗法を使って、データに最もよく当てはまる直線を引きます。
この直線が「予測モデル」になります。
ここまでが"モデル作り"の段階です。
📏 STEP 3:残差を計算
各データ点について、以下の式で残差(ei)を計算します。
ei = yi − ŷi
(実測値 − 予測値 = 残差)
図を見ると、縦方向の短い矢印が残差を表しています。
矢印が上下に散っていれば、モデルにまだ吸収しきれない要因が潜んでいる合図です。
🔍 残差の意味を深掘り
- プラスの残差:実測値が予測値より上(モデルが過小評価)
- マイナスの残差:実測値が予測値より下(モデルが過大評価)
- ゼロに近い残差:予測が的中!
残差プロットで分かる4つのこと
残差を計算したら、次は「残差プロット」を作ります。
これは、横軸に予測値(ŷ)、縦軸に残差(e)をとった散布図です。
このプロットを見れば、モデルの問題点が一目瞭然になります!
残差プロットでモデルの当てはまりを診断する
✅ 1. モデルの当てはまり
残差がランダムに散らばっているなら、モデルは良い当てはまりを示しています。
逆に、残差に曲線的なパターンが見えるなら、直線モデルでは不十分かもしれません。
その場合は、非線形モデル(2次関数など)を検討しましょう。
⚠️ 2. パターンの検出
残差プロットにU字型やS字型のパターンが現れたら要注意。
これは、モデルが重要な非線形関係を見逃している可能性があります。
⚠️ 対処法:変数変換(対数変換、平方根変換など)や、多項式回帰を試してみましょう。
📢 3. 等分散性の確認
残差の散らばり具合が、予測値に関わらず一定かをチェックします。
もし、予測値が大きくなるにつれて残差の散らばりも大きくなる「漏斗(ろうと)型」になっていたら、等分散性の仮定が破れています。
🚨 対処法:加重最小二乗法や、変数変換を検討しましょう。
🎯 4. 外れ値の検出
他の点から大きく飛び出した残差は、外れ値の候補です。
外れ値は、データ入力ミスの可能性もあれば、重要な特殊ケースの可能性もあります。
クック距離などで影響の大きさを数値化し、慎重に判断しましょう。
💡 ワンポイントアドバイス
外れ値を見つけたら、すぐに削除するのではなく、「なぜこのデータが外れているのか?」を考えましょう。
ビジネス的に意味がある点なら、残す判断も重要です!
誤差の4つの仮定と残差を使った確認方法
回帰分析では、「誤差(ε)」に関する4つの仮定を置いています。
これらの仮定が満たされていないと、推定結果が信頼できなくなります。
でも安心してください!残差を調べることで、誤差の性質を推測できます。
誤差の4つの仮定と残差での確認方法
数値で確かめる|5点のデータで残差を計算する
勉強時間 x(時間)とテストの点数 y の5人分のデータで、回帰直線を引いて残差を出してみます。
平均は x̄=3、ȳ=63。偏差の積和 Sxy=56、x の偏差平方和 Sxx=10 なので、傾きは 56÷10=5.6、切片は 63−5.6×3=46.2。回帰直線は ŷ=46.2+5.6x です。
| x(時間) | 実測値 y | 予測値 ŷ | 残差 e=y−ŷ | 残差の2乗 |
| 1 | 52 | 51.8 | +0.2 | 0.04 |
| 2 | 58 | 57.4 | +0.6 | 0.36 |
| 3 | 61 | 63.0 | −2.0 | 4.00 |
| 4 | 70 | 68.6 | +1.4 | 1.96 |
| 5 | 74 | 74.2 | −0.2 | 0.04 |
| 合計 | | | 0.0 | 6.40 |
表から、残差について大事な性質が3つ読み取れます。
- 残差の合計は0:切片を含む直線を最小二乗法で引くと、必ずこうなります。だから「残差の平均が0か」を見ても、誤差の平均が0かは確かめられません。偏りは残差プロットの形で見ます
- 残差平方和 Se=6.40:最小二乗法は、この値がいちばん小さくなる直線を選ぶ方法です
- 誤差の分散は残差から推定する:Se を n−2(=3)で割った 6.40÷3≒2.13 が、見えない誤差の分散 σ² の推定値です(標準偏差にすると約1.46点)
n ではなく n−2 で割るのは、傾きと切片の2つをデータから決めたぶん、残差が自由に動ける数(自由度)が2つ減るからです。残差は、見えない誤差より少しだけ小さく出る性質があります。
つまり残差は計算できる。合計は必ず0。誤差の大きさ(分散)は、残差平方和を自由度で割って推定する。
あわせて読みたい
残差平方和とは?単回帰の分散分析表の作り方とExcelでの求め方
残差平方和を使った分散分析表の作り方と、Excelでの求め方はこちらで解説しています。
測定・実験での「残差」と「誤差」
回帰分析だけでなく、同じ量を何回も測る測定や測量でも、2つの言葉は同じ考え方で使い分けます。
| 誤差 | 残差 |
| 定義 | 測定値−真の値 | 測定値−平均値(最も確からしい値) |
| 計算できるか | できない(真の値は分からない) | できる |
| 合計 | 0になるとは限らない | 必ず0 |
| 使いみち | 測定の正確さを考えるときの概念 | ばらつき(標準偏差)を計算する |
標準偏差を出すときに n ではなく n−1 で割るのも、真の値の代わりに平均値を使い、残差で計算しているためです。回帰分析で n−2 で割るのと同じ理由です。
よくある質問
Q. 残差と誤差の違いを一言でいうと?
A. 残差は実測値と予測値の差で、データから計算できるズレです。誤差は実測値と真の値の差で、真の値が分からないので直接は計算できません。
Q. 残差の合計はなぜ0になるのですか?
A. 切片を含む回帰直線を最小二乗法で引くと、プラスとマイナスの残差がちょうど打ち消し合う位置に直線が決まるためです。
Q. 測定の誤差と残差はどう違いますか?
A. 誤差は測定値と真の値の差、残差は測定値と平均値の差です。真の値は分からないので、ばらつきの計算には残差を使います。
| 仮定 |
数式 |
確認方法 |
違反時の対処 |
| ① 平均ゼロ |
E(εi) = 0 |
残差プロットで偏りを見る(切片ありの最小二乗法では残差の平均は必ず0) |
切片の追加 |
| ② 等分散性 |
Var(εi) = σ² |
残差プロットの確認 |
変数変換、加重回帰 |
| ③ 独立性 |
Cov(εi, εj) = 0 |
ダービン・ワトソン検定 |
時系列モデル検討 |
| ④ 正規性 |
εi ~ N(0, σ²) |
Q-Qプロット、シャピロ検定 |
変数変換、ロバスト推定 |
💡 重要なポイント
残差は誤差の"代理"なので、残差を調べれば誤差の性質が分かります!
ただし、サンプルサイズが小さいと判断が難しいので、できるだけ多くのデータを集めましょう。
よくある誤解と正しい見方
残差と誤差について、初心者がよく陥る誤解をまとめました。
あなたも当てはまっていませんか?
| よくある誤解 |
なぜ起こる? |
正しい見方 |
| 残差=誤差だから深く考えなくていい |
用語が似ている |
残差は"見える"ズレ。分析後の品質チェックに必須 |
| 残差がゼロに近ければ完璧 |
サンプルサイズが小さいと偶然でも小さく見える |
決定係数や交差検証も合わせて評価 |
| 外れ値は全部除去すべき |
ルール化し過ぎ |
ビジネス的に意味がある点なら残す判断も |
まとめ:残差は"モデルの健康診断レポート"
📝 この記事のまとめ
- 残差は「データ」と「モデル予測」のズレを数値化した"健康診断レポート"
- 誤差は未知の真のモデルとのズレで直接は測れないが、残差を通じて姿を推測できる
- 残差プロットでパターン・分散・外れ値をチェックすれば、モデルの問題点が見える
- 誤差の4つの仮定を残差で確認することで、信頼できる推定結果が得られる
- 残差を活かせば、モデルの説得力と予測精度が大幅アップ!
残差と誤差の違い、理解できましたか?
この知識があれば、回帰分析の精度を格段に高めることができます。
次は、実際に残差プロットを作って、あなたのモデルを診断してみましょう!
🔗 あわせて読みたい関連記事
📊 単回帰分析の基礎
回帰分析の基本をゼロから学ぶならこちら
記事を読む →
📈 決定係数(R²)の見方
モデルの当てはまりを数値で評価
記事を読む →
🎯 外れ値の検出と対処
データの異常値をどう扱うか
記事を読む →
📚 統計学をもっと学びたいあなたへ
当サイトでは、統計学の基礎から実践まで、初心者でも分かりやすく解説しています。
ぜひ他の記事もチェックしてみてください!
この記事の理解を深める本と道具
おすすめの本
残差や誤差の考え方の土台になる統計学を、検定まで含めて1冊で学びたいときに向いています。検定から多変量解析・実験計画法・ベイズ統計学までを扱う、統計学の入門書です(オーム社、栗原伸一 著、第2版)。
¥2,860 (2026/10/06 07:36時点 | Amazon調べ)
ポチップ
おすすめの本
残差が出てくる回帰分析のしくみを、気軽に読める形でつかみたいときに向いています。回帰分析の考え方を、マンガで解説した本です(オーム社)。
¥2,420 (2026/03/02 21:00時点 | Amazon調べ)
ポチップ
S
シラス
電験三種・QC検定1級 / メーカーでパワエレ設計・品質保証 実務10年
メーカーで電気設計と品質保証に携わってきた経験をもとに執筆しています。むずかしい専門用語をできるだけ使わず、はじめて学ぶ人がつまずかないように、図とたとえで説明することを大切にしています。