片側検定／両側検定の選択が恣意的な気がする件をRのt検定で確認

こんな例を考えます。

10人の元々のテストの平均点は50点でした。点数をあげる施策を行った後、再度テストをしてみると、

after <- c(44, 47, 48, 51, 54, 56, 59, 62, 63, 65)

という点数が得られました。施策は効果があったかどうかを、有意水準5%で検定しましょう。

【Aさんの検定】

Aさんは施策に懐疑的でした。場合によっては施策の悪影響が出て、点数が下がる可能性もあると考えていますので、両側検定を行います。

> t.test(after, mu=50,  alternative="two.sided")

        One Sample t-test

data:  after
t = 2.1198, df = 9, p-value = 0.06306
alternative hypothesis: true mean is not equal to 50
95 percent confidence interval:
 49.67088 60.12912
sample estimates:
mean of x
     54.9

p値が0.05よりも大きいので、帰無仮説は棄却できず、「施策は効果があるとは言えない」と結論付けました。

【Bさんの検定】

Bさんは施策の効果を確信していました。点数が下がることはありえないと考えていますので、片側検定を行います。

> t.test(after, mu=50,  alternative="greater")

        One Sample t-test

data:  after
t = 2.1198, df = 9, p-value = 0.03153
alternative hypothesis: true mean is greater than 50
95 percent confidence interval:
 50.66264      Inf
sample estimates:
mean of x
     54.9

p値が0.05よりも小さいので、帰無仮説は棄却でき、「施策は効果があると言える」と結論付けました。


う～ん、気持ち悪い。

何が気持ち悪いって、効果に懐疑的だと厳しめの検定になって、効果に確信があると甘めの検定になるという関係です。

Aさんが施策反対派、Bさんが施策推進派だとすると、両者の対立の溝は埋められそうにないですね。

学術的にはこのへんの曖昧さの課題とかってないんでしょうか。統計の専門家に聞いてみたい。

だって、良かれと思ってやったことが悪影響を及ぼす、なんてことはよくあることでしょ。だとすると、片側検定していいケースってあんまりないような気がするんですが、どうなんでしょうか。