検定で用いるp値の考え方

「おおまかに検定を理解する」では「BチームがとAチームよりも高い点を取る」確率を簡単に求めました。
この確率のことをp値と言います。
pはprobabilityの頭文字です。

この例では、とりあえずp値が5％より大きければ、帰無仮説（null hypothesis）を採択する設定でした。
このようなp値の基準を有意水準と言います。

有意水準が5％程度で、実際のp値が5％未満であれば、帰無仮説が本当になる可能性は5%未満ということになりますから、採択できないというわけです。

逆に、全体の確率から有意水準を差し引いた残りの確率は、信頼区間と呼ばれます。
この場合、1（全確率）-0.05（有意水準） = 0.95ですから、全体のうちの95%が信頼区間となります。

p値が信頼区間内の確率（5%以上）ならば、帰無仮説（差はない）が採択されます。

p値の捉え方は仮説の立て方によって変わってきます。
この例では、3通りの対立仮説が考えられます。

1. Aチームの得点力はBチームの得点力と同等ではない
2. Aチームの得点力はBチームの得点力より高い
3. Aチームの得点力はBチームの得点力より低い

(1)の対立仮説は、得点力が高いか低いかではなく、全体を考えたときの検定です。
(2)の対立仮説は、Aチームの得点力がBチームのそれよりも高いかどうかを調べるための検定です。
この場合、Bチームの得点力が少ないかどうかについては考慮しません。
(3)の対立仮説は、Aチームの得点力がBチームのそれよりも低いかどうかを調べるための検定です。
この場合、Bチームの得点力が高いかどうかについては考慮しません。

(1)のような検定方法を「両側検定」、(2)と(3)のような検定方法を「片側検定」といいます。

(2)は、片側検定-less-、(3)は片側検定-greater-です。

これらの関係を標準正規分布の確率密度関数で示します。

有意水準を5%とした場合、両側検定と片側検定の有意水準は次のような関係になります。

``` # p値の考え方 import matplotlib.pyplot as plt import numpy as np from scipy.stats import norm mu = 0 # 標準化済み確率変数の算術平均 variance = 1 # 標準化済み確率変数の分散 sigma = np.sqrt(variance) x = np.linspace(mu - 3.29*sigma, mu + 3.29*sigma, 1000)# 99.9%信頼区間の分布 p_dist = norm.pdf(x, mu, sigma)# 標準正規分布確率密度 # 95%信頼区間 # 両側5%(片側2.5%) min_ci_95 = mu-1.96*sigma max_ci_95 = mu+1.96*sigma # 90%信頼区間 # 片側5% min_ci_90 = mu-1.64*sigma max_ci_90 = mu+1.64*sigma # ciはxのどこにあるか pos_min_95 = len(x[x <= min_ci_95]) pos_max_95 = len(x[x <= max_ci_95]) pos_min_90 = len(x[x <= min_ci_90]) pos_max_90 = len(x[x <= max_ci_90]) # データ選別 y_ci_95_less = p_dist[:pos_min_95] x_ci_95_less = x[:pos_min_95] y_ci_95_greater = p_dist[pos_max_95:] x_ci_95_greater = x[pos_max_95:] y_ci_less = p_dist[:pos_min_90] x_ci_less = x[:pos_min_90] y_ci_greater = p_dist[pos_max_90:] x_ci_greater = x[pos_max_90:] #可視化 fig = plt.figure(figsize=(7,12)) ax1 = fig.add_subplot(311) ax1.set_title("95% confidence interval-two-sided test-") plt.plot(x, p_dist) ax1.fill_between(x_ci_95_less,y_ci_95_less,0, alpha=0.8, color='c')#信頼区間領域を塗りつぶす ax1.fill_between(x_ci_95_greater,y_ci_95_greater,0, alpha=0.8, color='c')#信頼区間領域を塗りつぶす # ax1.fill_between(x, p_dist,0, alpha=0.2,color="m")# すべて塗りつぶす ax1 = fig.add_subplot(312) ax1.set_title("95% confidence interval -less one sided test- ") plt.plot(x, p_dist) ax1.fill_between(x_ci_less,y_ci_less,0, alpha=0.8, color='c')#信頼区間領域を塗りつぶす ax1 = fig.add_subplot(313) ax1.set_title("95% confidence interval -greater one sided test-") plt.plot(x, p_dist) ax1.fill_between(x_ci_greater,y_ci_greater,0, alpha=0.8, color='c')#信頼区間領域を塗りつぶす plt.show() ```

両側の場合、左側2.5%と右側2.5%を合わせて5%となっています。

片側の場合、1つのサイドで5%となっています。

実際には、帰無仮説の設け方によって、両側か片側かを決めます。

先の玉入れの例のように、事前にデータの分布から片側（less or greater）を決めておくことができる場合は、片側での検定が可能です。
しかし、実際にはどの群が大きくなりそうか、小さくなりそうかなどはわからないと思います。
このような場合は両側で検定を行うことになります。

実際、ほとんどの場合、両側で有意水準を5%や1%に設定することがほとんどです。

両側か片側かは、利用する検定アルゴリズムにも依存します。
ほとんどのアルゴリズムは両側のp値を算出します。
t検定による2群の比較などでは意図的に片側のp値を求めることができます。
あるいは、標準正規分布や密度関数を用いて、特定の値までの確率を累積密度（scipyのcdf関数：低い側の確率、sf関数：高い側の確率）から求めることもできます。

注意点としては、有意水準が同じでも、両側か片側かによって棄却領域（青い部分）が変わります。図を見て分かるとおり、片側のほうが若干棄却されやすくなります。

片側検定は、差がない事を証明したい（帰無仮説を採択する）ときは良いと思いますが、差があることを証明しようとしている（帰無仮説を棄却する）ときは、片側よりも両側検定の方がロバストです。

余談ですが、標準正規分布の場合、片側のp値を2倍して両側のp値とすることもできます。もし、2倍して1を超える場合は、tailサイドが異なっていますので、もう一方の片側p値を2倍した値を両側のp値とします。
標準正規分布の性質上、このようなこともできます。

Visionary Imaging Services, Inc.