【統計学】P値と有意水準（α）｜「5%の奇跡」が起きたら、それは偶然じゃないと疑う

こんにちは、シラスです。

統計的検定の結果を見るとき、私たちは必ずこの2つの記号と向き合うことになります。

「P値が0.05より小さければOK」手順としてそう覚えている人は多いですが、「そもそもこの0.05って何？」「Pって何の確率？」と聞かれると、答えに詰まってしまうことが多いものです。

実はこの検定のプロセス、私たちが日常的に行っている「疑い深さ」の心理メカニズムそのものなんです。

今日は、難しい数式の代わりに「宝くじ」や「イカサマ」の例えを使って、この2つの正体を直感的に理解しましょう。

1. 背理法：あえて「偶然だ」と言い張ってみる

検定の基本ロジックは、数学の証明方法である「背理法（はいりほう）」です。

これは、「とりあえず相手の主張（偶然である）を認めておいて、そこから矛盾を突きつける」という論法です。

🤔 検定の思考プロセス

P値の「P」は Probability（確率） の頭文字ですが、実務上は「驚きのスコア」と読み替えると分かりやすくなります。

友人が「このコイン、表が出やすいイカサマコインなんだぜ」と言って、目の前で5回投げました。結果は、5回連続で「表」でした。

さて、これは偶然でしょうか？

普通のコインで5回連続表が出る確率は、(21)5=321、つまり約3%（0.03）です。この 「0.03」こそがP値 です。

「普通のコインだとしたら、こんなこと3%の確率でしか起きないよ。そんなレアなことが、今いきなり目の前で起きたの？」

この「レア度（0.03）」を突きつけられると、私たちは「うーん、それは偶然とは考えにくいな。やっぱりイカサマ（差がある）なんじゃないか？」と疑い始めます。

では、P値がいくら以下なら「偶然じゃない（イカサマだ）」と断定していいのでしょうか？

確率3%なら疑いますが、もし3回連続（確率12.5%）だったらどうでしょう？「まあ、12.5%なら偶然でもありえるか…」と許してしまうかもしれません。

この「ここまでは偶然として許すけど、これよりレアなら許さない（疑う）」という境界線のことを、有意水準（α）と呼びます。

🚦 疑いの境界線（α）

一般的な基準：α = 0.05（5%）
「20回に1回以下のレアなこと」が起きたら、偶然ではないとみなす。
（工場の品質管理や一般的な研究で使われます）
厳しい基準：α = 0.01（1%）
「100回に1回以下の奇跡」が起きない限り、簡単には認めない。
（命に関わる医療や、絶対に間違えられない検査で使われます）

この α は、計算して出すものではなく、実験をする人間（あなた）が「最初に決める決意」です。

検定の最後に行うのは、「P値」と「有意水準 α」の背比べです。

P値 < α の場合（例：0.03 < 0.05）
- 「偶然だとしたら3%しか起きない現象が起きた。私が決めた基準（5%）よりもレアだ」
- 判定： これは偶然とは言えない。有意差あり（帰無仮説を棄却）。
P値 ≥ α の場合（例：0.12 > 0.05）
- 「偶然だとしたら12%で起きる現象だ。まあ、基準（5%）よりはよくあることだ」
- 判定： 偶然の範囲内かもしれない。有意差なし（帰無仮説を棄却できない）。

「5%以下の奇跡が起きたら、それは奇跡ではなく、何らかの仕掛け（必然）があるはずだ」と考える。これが統計的検定の正体です。

最後によくある勘違いを正しておきましょう。

間違い： 「P値 = 0.03 だから、この新薬は97%の確率で成功する！」 正解： 「何の効果もない偽薬だとしても、3%の確率でたまたまこれくらい効いちゃうことがあるよ（だから、たぶん効果はあると思うけどね）」

P値はあくまで「偶然である確率」です。小さければ小さいほど、「偶然なわけあるか！」と強くツッコミを入れられる（＝結果に自信が持てる）、と覚えておけば間違いありません。