はじめに
「p値って、結局どの数字を見ればいいの？」
「p値が0.05未満なら、必ず意味のある結果だと考えていいの？」と迷っていませんか。
統計解析の結果を確認していると、p値や「0.05」という基準、統計的有意差といった言葉が出てきますが、それぞれが何を示しているのか分からず、結果の判断で手が止まることがありますよね。
この記事では、p値の基本的な意味から0.05が使われる理由、統計的有意差の見方までを整理し、結果を確認するときにどこへ注目すればよいのかを順を追って説明していきます。
p値とは？
p値は、統計的な検定で得られた結果が偶然によって起こり得るものなのかを判断するときに使われる値です。
ここでは、p値が何を表す数値なのかを確認したうえで、帰無仮説との関係を順に説明します。
p値
p値は、帰無仮説が正しいと仮定したときに、実際の観測結果と同じか、それより極端な結果が得られる確率です。
たとえばp値が0.03なら、今回の結果以上に極端な結果が得られる確率が3％であることを示します。
ただし、「帰無仮説が正しい確率」ではない点に注意が必要です。
p値を理解するには帰無仮説との関係を押さえる
p値を読み取るときは、まず「差がない」「効果がない」など、検定で設定した帰無仮説を確認します。
そのうえでp値を見ると、得られた結果が帰無仮説のもとでどの程度起こりにくいのかを判断しやすくなります。
p値の0.05にはどのような意味がある？
p値を確認するとき、「0.05を下回れば有意なのはなぜ？」「0.05以上の場合は何を意味するの？」と疑問に感じることがあります。
ここでは、0.05という基準の意味を確認したうえで、p値が0.05未満と0.05以上の場合の判断を順に説明します。
0.05は一般的に使われる有意水準の基準
0.05は、統計的検定でよく設定される有意水準で、p値と比較して帰無仮説を棄却するかどうかを判断する基準です。
0.05に設定した場合、帰無仮説が正しいと仮定したときに、5％以下の確率でしか起こらない結果を統計的に有意と判断します。
ただし、0.05という数値自体が「正しい」「誤っている」を示す確率ではありません。
p値が0.05未満なら統計的に有意と判断する
p値が0.05未満の場合は、設定した有意水準5％を下回るため、統計的に有意と判断します。
たとえばp値が0.03なら、0.05と比較して小さいため、帰無仮説を棄却する判断につながります。
つまり、帰無仮説を前提とした場合に、今回の結果と同じかそれ以上に極端な結果が出る確率が5％未満だったと判断します。
p値が0.05以上なら帰無仮説を棄却する十分な根拠がない
p値が0.05以上の場合は、設定した有意水準5％を下回っていないため、帰無仮説を棄却しません。
たとえばp値が0.08なら、0.05より大きいため、統計的に有意とは判断しません。
ただし、これは帰無仮説が正しいと証明されたことや、差がないと証明されたことを意味するものではありません。
p値から統計的有意差を判断する方法
p値から統計的有意差を判断するときは、あらかじめ設定した有意水準とp値を比較します。
ここでは、p値と有意水準を比較する基本的な方法を確認したうえで、p値が0.03と0.08の場合を例に判断の仕方を説明します。
p値と有意水準を比較して有意差の有無を判断する
p値から統計的有意差を判断するときは、あらかじめ設定した有意水準と比較します。
有意水準が0.05の場合、p値が0.05未満なら統計的に有意と判断し、0.05以上なら有意とは判断しません。
p値が0.03の場合は統計的に有意と判断する
p値が0.03の場合は、有意水準0.05より小さいため、統計的に有意と判断して帰無仮説を棄却します。
つまり、有意水準5％を基準とした場合、観測された結果は偶然では起こりにくいと考えます。
p値が0.08の場合は統計的に有意とは判断できない
p値が0.08の場合は、有意水準0.05を上回るため、統計的に有意とは判断せず、帰無仮説を棄却しません。
ただし、統計的に有意ではないからといって、差がないことが証明されたわけではありません。
p値を見るときに注意したいよくある誤解
p値は統計的有意差を判断するために使われますが、数値だけを見て意味を取り違えることがあります。
ここでは、p値を正しく解釈するために知っておきたい3つのよくある誤解を説明します。
p値0.05は帰無仮説が正しい確率5％という意味ではない
p値が0.05でも、「帰無仮説が正しい確率は5％」という意味ではありません。
帰無仮説が正しいと仮定したときに、観測された結果と同じか、それより極端な結果が得られる確率が5％であることを示します。
p値が0.05以上でも差がないと証明されたわけではない
p値が0.05以上の場合は、帰無仮説を棄却する十分な根拠がないと判断します。
ただし、「差がない」と証明されたわけではないため、p値だけで実際に差があるかどうかを決めることはできません。
統計的有意差があっても実際に重要な差とは限らない
p値が0.05未満でも、その差が実際に重要な大きさとは限りません。
統計的有意差は差の大きさや実用上の重要性を示すものではないため、p値だけで結果の重要性を判断しないことが大切です。
p値と統計的有意差についてよくある疑問
p値を確認していると、「p値は小さいほどよいの？」「0.05ちょうどの場合は有意差ありになる？」「有意水準は0.05に決めるものなの？」と疑問に感じることがあります。
ここでは、p値と統計的有意差を判断するときに迷いやすい3つの疑問について説明します。
p値は小さいほどよい？
p値は、小さいほど「よい」と評価するものではありません。
p値が0.01と0.04でも、どちらの結果が重要かはp値だけでは判断できないため、数値の小ささだけで結果の良し悪しを決めないことが大切です。
p値がちょうど0.05なら有意差あり？
有意水準を0.05とした場合、判定基準を「p値が0.05未満」としていれば、p値がちょうど0.05のときは統計的に有意とは判断しません。
基準によって扱いが変わるため、事前に判定ルールを決めておきます。
有意水準は必ず0.05にする？
有意水準は必ず0.05にする必要はなく、目的や研究分野によって0.01や0.10などを設定する場合もあります。
結果を見てから変更するのではなく、基本的には検定を行う前に決めておくことが大切です。
まとめ
p値は、帰無仮説が正しいと仮定したときに、観測された結果と同じか、それより極端な結果が得られる確率を示す値です。
有意水準を0.05とした場合は、p値が0.05未満なら統計的に有意と判断しますが、p値だけで差の大きさや結果の重要性まで分かるわけではありません。
また、p値が0.05以上でも「差がない」と証明されたわけではなく、小さいほどよいというものでもありません。
数値だけで結論を決めず、帰無仮説や有意水準の意味を押さえたうえで、結果を読み取っていきましょう。