Chi Square : Independence Test (Analysis of Contingency Table)

2개의 categorical variable이 독립인지를 chi square test로 확인.
독립이라는 null hypothesis가 참일 경우의 관측치에 해당하는 chi square 가 나올 확률을 구해 검정.

Walsh et al.(2006)이 수행한 실험은 다음과 같음.

• anorexia(거식증)의 경우, 치료를 받아서 정상체중으로 돌아왔더라도 1년 안에 재발하여 다시 병원으로 오는 경우가 많음.
• 이에 대한 유력한 원인으로 depression(우울증)이 지목됨.

Walsh et al.이 수행한 실험은 거식증이 완치가 된 93명의 환자들을 대상으로

• 49명에게는 항우울증 약인 Prozac을 1년간 처방하여 복용시키고,
• 다른 44명에게는 Placebo(가짜약)을 같은 기간동안 복용시킴.

해당 실험은 double-blind로 수행됨.
이 실험의 독립변수는 각 그룹(Prozac and Placebo)에서 1년 이후까지 정상체중이 유지된(=거식증이 재발하지 않은) 환자의 수임.

Contingency Table은 다음과 같음.

Treatment	Success	Relapse (재발)
Prozac	13	36
Placebo	14	30

 

import numpy as np
import scipy.stats as stats
import pandas as pd
import matplotlib.pyplot as plt
from IPython.display import Math, HTML

def report(chi2, p_value, dof, expected, idx=None, col=None):
  display(r'$\chi^2$ :'+ str(chi2))
  print('p-value :', p_value)
  print('dof :', dof)
  display(pd.DataFrame(data=expected, index=idx, columns=col))

outcome = ['success','relapse']
treatment = ['prozac','placebo']

data = np.array([
                 [13,36],
                 [14,30],
])
df = pd.DataFrame(
    data = data,
    index = treatment,
    columns = outcome
)

display(df)

# To reproduce the result on Howell's book,
# correction= False is used. 
report(*stats.chi2_contingency(df,correction=False),treatment,outcome)

결과는 $p$-value가 0.5748로 Prozac 처방여부와 거식증 재발이 독립이라는 null hypothesis을 reject하기 어렵다는 결론으로 이어진다.

• 나온 testing statistics는 $\chi^2=0.3146$이고 $\text{dof}=1$임.
• null hypothesis가 참이라는 가정하에 위와 같은 빈도의 contingency table을 얻을 확률이 57.48% 라는 애기임.

여기서는 Howell 교수님의 책의 결과와 같이 나오도록 Yates' correction for continuity를 사용하지 않음.
Scipy의 stats.chi2_contingency()는 기본적으로 dof=1 인 경우, Yates' correction을 수행하기 때문에, correction=False를 추가해줌.

Contingency table:

A two-dimensional table in which each observation is classified on the basis of two variables simultaneously.

Reference

Fundamental Statistics for the Behavioral Sciences 8th Edition, Ch19.2