5. 検定と推定・二つの誤り
「偶然では説明しにくい」と「十分改善した」は違う
Section titled “「偶然では説明しにくい」と「十分改善した」は違う”検定は、帰無仮説 が正しいとしたときの統計量の分布と、観測結果を照合する方法です。母平均が100mmという仮説に対し、両側なら 、大きくなったかなら を立てます。方向はデータを見る前に決めます。
- 対象母集団、比較する母数、独立性・正規性などの条件を定める。
- 、有意水準 、片側・両側を決める。
- 統計量と帰無分布を選び、数値とp値または棄却限界を求める。
- 仮説についての判断と、差の大きさ・不確かさ・実務上の意味を報告する。
p値は、 の下で、観測結果以上に対立仮説の方向へ極端な結果が出る確率です。「帰無仮説が正しい確率」ではありません。
| 実際 | 棄却する | 棄却しない |
|---|---|---|
| が正しい | 第一種の誤り(確率 ) | 正しい判断 |
| 特定の が正しい | 検出する(確率 ) | 第二種の誤り(確率 ) |
検出力は特定の差、ばらつき、標本数、検定法に依存します。「棄却できない」は同等性や効果なしの証明ではありません。
例題:p値だけでは採用を決められない
Section titled “例題:p値だけでは採用を決められない”非常に多くの製品を測ると、平均差0.01mmでも有意になる可能性があります。必要な改善幅が0.2mmなら、差の推定値と信頼区間を見て、費用や顧客要求と照合します。逆に標本数が少なければ、大きな改善も検出できない場合があります。
95%信頼区間は、同じ抽出・計算法を繰り返すと、作った区間の約95%が固定された母数を覆うという意味です。一度作った区間の中に個々の製品の95%が入るという意味ではありません。
同じモデルの両側5%検定と95%信頼区間は対応します。多数の項目を都合よく検定すれば誤検出が増えるため、目的と比較を事前に定め、探索と確認を区別します。
統計検定とつなげる
Section titled “統計検定とつなげる”p=0.12だった。「二つの工程は同じ」と結論できるか?
解答・解説
できません。指定した有意水準で差を検出できなかっただけです。差の信頼区間、標本数、実務上許容する差を確認します。