生物医学統計を学ぶ！: 相関による統計解析

相関（correlation）は、2つ以上の変数で、一方が変われば他方もそれに連れて変わる、はたまた、第3の変数の影響を受けて、他の変数が関わり合っているなど、一方が他方との関係を離れては意味をなさないようなものの間の関係を言います。

例えば、コレステロール値が上がれば血圧も上がるというような、2つの変数間で一方が変われば他方もそれに連れて変わる関係があるか知りたいときに用いられる指標です。

基本的には、2つの変数をx,yに当てはめて、どれだけ直線的かを調べます。

相関を調べるときは、基本的に、2つの変数間の相関を調べます。

直線的かつ散らばりの少ない散布図になるほど相関が強いことを意味します。

負の相関と正の相関

国が豊かになるほど健康な歯を持つ子供の数が増えるというような2つの変数間の関係もあれば、国が豊かになるほど子供の虫歯の数が減るという関係もあります。
前者は、正の相関、後者は負の相関があるといいます。

(国民総生産GNPと齲歯（うし）数：模擬データ)

観測データの散布図から最小二乗法などで線形回帰直線を描き、その角度によって正負を判別します。右上がりは正の相関、右下がりは負の相関を表します。

散らばりの強い中央の図では若干回帰直線に傾きがありますので、強いて言えば正の相関となってしまいますが、このような散らばりの強いケースはほぼ無相関と考えます。

相関の有無は回帰直線だけでなく、相関係数からも判断されます。

```
#模擬データを作成
import matplotlib.pyplot as plt
import numpy as np
np.random.seed(123)

x = np.random.normal(
    loc   = 2,    # 平均（子供一人あたりの虫歯の数）
    scale = 3,    # 標準偏差
    size  = 150,# 出力配列のサイズ(ちょっと多めに作っておく)
    )

# negative correlation
x_negative = x[x > 0]
x_negative = np.sort(x_negative)[:50]
y_negative = np.linspace(34000+1, 18000, 50)# GNP range
# uncorrelation
x_uncorr= x[x > 0]
x_uncorr = np.sort(x_uncorr)[:50]
y_uncorr = np.random.randint(18000, 34000+1, 50)# GNP range
# positive correlation
x_positive = x[x > 0]
x_positive = np.sort(x_positive)[:50]
y_positive = np.linspace(18000, 34000+1, 50)# GNP range

def liner_reg(x,y):
  n = len(x)
  a = ((np.dot(x, y)- y.sum() * x.sum()/n)/((x ** 2).sum() - x.sum()**2 / n))
  b = (y.sum() - a * x.sum())/n
  return [x.min(),x.max()],[b, a * x.max() + b]
# グラフの表示
plt.figure(figsize=(9,3))
plt.subplot(1,3,1)
plt.title("negative correlation")
plt.scatter(x_negative,y_negative,c="pink", alpha=0.5)
res = liner_reg(x_negative,y_negative)
plt.plot(res[0],res[1])
plt.subplot(1,3,2)
plt.title("Uncorrelated")
plt.scatter(x_uncorr,y_uncorr)
res = liner_reg(x_uncorr,y_uncorr)
plt.plot(res[0],res[1])
plt.plot([x_uncorr.min(),x_uncorr.max()],[y_uncorr.mean(),y_uncorr.mean()],'yo--')
plt.subplot(1,3,3)
plt.title("positive correlation")
plt.scatter(x_positive,y_positive,c="cyan", alpha=0.5)
res = liner_reg(x_positive,y_positive)
plt.plot(res[0],res[1])
plt.tight_layout()
plt.show()
```

相関係数

相関係数は、完全な正の相関の場合に1、完全な負の相関の場合に-1の-1〜1までの値をとります。

相関係数の種類は大きく2つあり、観測データの正規性に応じて使い分けます

正規性の検定には、シャピロ・ウィルク検定がよく用いられます。

データが正規分布に従う場合

シャピロ・ウィルク検定にて２変数とも有意差がなかった場合（2変数とも正規分布）、ピアソンの相関係数を用います。

データが正規分布に従わない場合

シャピロ・ウィルク検定にて２変数のうち1つでも有意差があった場合（どちらか、または両方が非正規分布であった場合）、スペアマンの順位相関係数を用います。

相関グラフ

相関グラフは、変数間の相関係数を俯瞰するために利用されます。

ヒートマップでグラフを表示する際は、ルックアップテーブルを適切に選択すれば、正の相関は明るく、負の相関は別の色で明るく、0に近い値を暗く表示できます。

今回はカラーマップに「seismic」を使っています。

濃い青なら正の相関、濃い赤なら負の相関、0に近いほど無相関であることを示しています。

単調なルックアップテーブルで表示された相関グラフのヒートマップは、色が暗いからと言って相関が無いわけではないので注意が必要です。

相関係数だけでなく、散布図とともにグリッド表示するなども行われることがあります。

ここでは、scikit-learnのdiabetesデータセットを使って、BMIと血圧の相関を調べる例を示します。

```
# 相関グラフ
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# data breast
from sklearn.datasets import load_diabetes

diabetes = load_diabetes(return_X_y=False)
df = pd.DataFrame(data= diabetes["data"], columns= diabetes['feature_names'])
df.describe() # 正規化済み

# bmiとbpの相関を調べてみます。
A = df["bmi"] # bmi, body mass index
B = df["bp"] # bp, blood pressure

# 正規性を確認します。
from scipy import stats
# 変数ごとに検定します。
for i,var in enumerate([A,B]):
  # シャピロウィルク検定統計量（正規分布に従わない場合は小さくなる）と正規分布に従う確率（p値）
  stat,p = stats.shapiro(var)
  print(i+1,"norm dist test results(p>=0.05)",stat,p) 
# AとBともに正規性を仮定できません
# よって、スピアマンの相関検定

df2corr = pd.DataFrame({'A': A,
                        'B': B})

corr = df2corr.corr(method = 'spearman') # pearsonが初期設定
sns.heatmap(corr, annot = True)
plt.show()

# すべての変数を対象として一遍に相関グラフを表示することも出来ますが、正規性検定をおざなりにすることになりかねません。
# （ただし、そこまで大きく値は変わりません）
plt.figure(figsize=(15,5))
plt.subplot(131)
plt.title("pearson")
corr_pearson = df.corr(method = 'pearson')
sns.heatmap(corr_pearson, annot = True)
plt.subplot(132)
plt.title("spearman")
corr_spearman = df.corr(method = 'spearman')
sns.heatmap(corr_spearman, annot = True)
plt.subplot(133)
plt.title("subtraction")
sns.heatmap(np.abs(corr_pearson-corr_spearman), annot = True, cmap='Blues')
plt.tight_layout()
plt.show()
```