統計的有意差検定とは一定確率の元で◯×判定を下す手法です。この一定の確率を『有意水準』と呼びます。有意水準とは危険率とも呼ばれ逆に100%から危険率を引いた値を信頼率と呼びます。 例えば『有意水準5%』であれば信頼率は95%です。有意水準(危険率)の意味ですが、これが5%なら5%の確率で判定を誤るリスクがある事で、逆を表す信頼率は95%の確率で信頼できる事になります。一般的には判定の信頼度と言った方が分かりやすいと思うのですが、統計学の場合は判定を間違ってしまう可能性(確率)を有意水準とか危険率と言って用います。
検定の場合、◯×判定を有意水準5%で行うと言うのはこの様な意味です。仮に20回この様な現場に遭遇した場合、20回中1回は誤る可能性がある判定精度です。有意水準が10%なら10回に1回は誤る可能性のある精度だと言う事です。
有意水準はギリシャ文字の アルファ α で表されます。
例えばα＝0.05であれば有意水準5%でα＝0.1なら10%です。
・有意水準の採用の仕方
この有意水準は慣例的に5%(即ち0.05)が用いられる事が多く、より厳密な判定を行う場合は1%、そこまで厳密な基準を必要としない場合は10%が採用されます。では有意水準の採用の仕方はどのように考えれば良いでしょうか。
例えばAさんとBさんのどちらがボーリングが上手いかを検定するケースを考えます。上手いと判断する基準を3ゲームマッチでのアベレージが高い方だと定義します。10ゲーム投げてアベレージが高いほうが上手いと判断するなら検定は必要ありません。絶対評価であり、この場合は全数検査と同じですから結果が全てです。
一方で上手さの判定を検定で行う場合は、ゲームデータから例えばAさんの平均スコアがBさんの平均スコアを上回る(A>B)確率を計算し判定します。有意水準5%とは100回勝負したら95回以上勝ちそうな場合に有意であると判断を下す事なのでボーリングの強さを判定するだけならちょっと厳格な判定基準と言えます。有意水準が10%なら90回以上勝てる場合に有意判定をする事になります。
またボーリングの上手さを判断するのにここまで厳しい判定はが必要でしょうか？ 有意水準20%程度でも十分だと思います。5回に1回は逆の結果となる信頼性でも友人間の上手さ判定には十分でしょう。逆に航空機や医療機器に使用される精密機器の品質を判定する場合は有意水準1%でも緩いと言えるでしょう。つまり判定対象に適した有意水準を採用するのが妥当です。
有意水準の意味を十分...
理解せずに検定を行った場合、必ずしも目的に対し十分な判定を下せたとは言えない事になります。検定と有意水準の意味が理解出来れば、有意有無よりも判定に用いた確率(p値)を参照する方が定量的に判断出来てより有用です。
統計処理ソフトだと検定時の有意水準値が5%か10%しか選べないものもありますのでp値を参照してどの程度有意だったのか把握しておく方が良いでしょう。検定を活用する場合は検定対象が必要とする信頼性を考慮し、妥当な有意水準を採用する方が良いでしょう。安全に関係するものが高い信頼率(小さい危険率)を採用すべきなのは言うまでもありません。