[Math] Hypothesis Testing 에서 Conservative Approach (보수적 접근법)란?

Hypothesis Testing 에서
Conservative Approach (보수적 접근법)란?

Hypothesis(가설검정)에서 Conservative Approach(보수적인 접근방식)은

• 오류를 최소화하고
• 결과의 신뢰성을 극대화하기 위해
• 보다 엄격한 기준을 적용하는 방법을 가리킴.

일반적으로 주로 1종 오류(Type I Error)를 줄이는 데
중점을 두는 경우를 Conservative Approache라고 함.

---

1. Features of a Conservative Approach

1. 낮은 Significance Level $\alpha$ 설정:
   • 관례적으로 Significance Level은 0.05로 설정되지만,
   • Conservative Approach에서는 이보다 낮은 값(예: 0.01 또는 0.001)으로 설정되기도 함.
   • 이는 null hypothesis가 True임에도 불구하고 이를 reject(기각)할 확률 (Type-1 Error)을 줄이기 위함임.
2. 큰 Sample Size:
   • Sample Size를 늘리면 결과의 reliability(신뢰성)이 높아짐.
   • Conservative Approach는 충분히 큰 Sample Size를 사용하여
   • 결과의 variability(변동성)을 줄여 power(검증력)을 높임.
     • sample size가 커지면 sample의 standard error $\frac{\sigma}{\sqrt{n}}$이 줄어들어
     • sample mean이 population mean에 더 가깝다고 볼 수 있음.
     • 동시에 variability가 줄어들어 effect size가 더 정확해져서 power가 올라감.
     • 하지만, 일반적으로 Type-1 error를 줄이려고 집중하는 Conservative Approach는 Power가 낮아지는 문제를 가짐.
   • 다음 코드로 power와 sample size의 관계를 볼 수 있음.
     

     import numpy as np
     import statsmodels.stats.power as smp
     
     # 효과 크기 (Effect Size)
     effect_size = 0.5
     
     # 유의 수준 (Significance Level)
     alpha = 0.05
     
     # 서로 다른 샘플 크기
     sample_sizes = [20, 50, 100, 200]
     
     # 검정력 계산
     powers = []
     for n in sample_sizes:
         analysis = smp.TTestIndPower()
         power = analysis.solve_power(effect_size=effect_size, nobs1=n, alpha=alpha)
         powers.append(power)
     
     for n, power in zip(sample_sizes, powers):
         print(f"샘플 크기: {n}, 검정력: {power:.4f}")

3. 보수적인 검정 방법 사용:
   • Multiple Comparision(다중 비교 문제)에서 Conservative Approach가 애용됨.
   • 대표적인 예가 Bonferroni Correction로서 이를 사용하여 각 개별 검정에서의 Significance Level을 더 낮게 설정하여 Testing의 overall error rate를 줄임.
     • Bonferroni Correction은 매우 보수적인 방법이라 대신 Tukey HSD (Honestly Significant Difference) 가 더 많이 사용됨.
     • 더 강력한 Conservative Approach가 필요하다면 Sheffe Test를 권함.
4. 엄격한 Effect Size 요구:
   • Conservative Approach는 작은 Effect Size 로는 결론(meansingful conclusion)을 내리지 않음.
   • Conservative Approach는 의미 있는 결과를 얻기 위해 더 큰 Effect Size 를 요구함.
5. Two-Tailed Test 사용:
   • One-tail Tests(단측 검정)보다 Two-Tailed Tests를 사용하여 보다 엄격한 기준을 적용함.
   • 이는 the direction of the effect를 고려하지 않고, 효과가 존재하는지 여부를 검토한다고 볼 수 있음.

---

2. Implication of a Conservative Approach

1. Type I Error 최소화:
   • Conservative Approach는 Type I Error(실제로 효과가 없는데 효과가 있다고 결론 내리는 오류)를 최소화하는 데 중점을 둠.
   • 이는 연구 결과의 신뢰성을 높이는 데 기여함.
2. 신뢰성 높은 결과 도출:
   • Conservative Approach는 연구 결과의 신뢰성을 높여 잘못된 결론을 내릴 확률을 줄임.
   • 이는 특히 중요한 결정이나 정책에 기초한 연구에서 중요함.
3. 더 많은 자원 요구:
   • 낮은 Significance Level과 큰 Sample Size는 더 많은 시간과 자원을 요구함.
   • 이는 연구 비용 증가와 연구 시간 연장을 의미함.

---

3. Examples

3-1. 낮은 Significance Level 설정

보통 Significance Level을 0.05로 설정하지만,
Conservative Approach에서는 이를 0.01로 낮춤.

import scipy.stats as stats

# set significance Level
alpha = 0.01

# generate sample data
data1 = [20.1, 19.8, 20.3, 20.0, 19.9]
data2 = [21.0, 21.2, 20.8, 21.1, 21.3]

# perform t-test
t_stat, p_value = stats.ttest_ind(data1, data2)

# interpret results
if p_value < alpha:
    print("reject null hypothesis: There is a significant difference between the group means.")
else:
    print("fail to reject null phypthesis:  There is no significant difference between the group means.")

---

3-2. Bonferroni Correction 사용

Multiple Comparision 에서 대표적인 conservative approach는
Bonferroni Correction을 사용하여 Significance Level을 조정하는 것임.

import statsmodels.stats.multitest as multitest

# multiple p-values
p_values = [0.04, 0.01, 0.03, 0.005, 0.02]

# apply Bonferroni correction
corrected_p_values = multitest.multipletests(p_values, alpha=0.05, method='bonferroni')

# Interpret results
print("교정된 p-value:", corrected_p_values[1])

Bonferroni correction 은

• Multiple Comparision 에서
• 전체 Type I Error (Family-Wise Error Rate,FWER)를 제어하기 위해
• 사용되는 Conservative approach 임.

각 개별 테스트의 $p$-value에 대해 $\alpha$ 값을 나누서
the adjusted significance threshold (조정된 임계치)를 구하여 이를 사용함.

• 만약 $m$개의 test가 있을 경우,
• Bonrerroni correction 이후 threshold는 $\frac{\alpha}{m}$임.

위의 코드로 구해진 adjusted p-value는 다음과 같음.

adjusted p-value: [0.2, 0.05, 0.15, 0.025, 0.1]

 

Bonferroni Correction 후 p-value를 해석하는 방법은 다음과 같음:

• 각 adjusted p-value가 "설정한 Significance Level" $\alpha$ (예: 0.05)보다 작으면,
• 해당 test는 statistically significant (통계적으로 유의미)하다고 판단.
• 이 예시에서 두 번째 p-value (0.05)와 네 번째 p-value (0.025)만이 0.05보다 작으므로,
• 이 두 테스트만이 statistically significant함.

---

결론

Conservative Approach은 오류를 최소화하고 결과의 신뢰성을 높이기 위한 전략임.

이는

• 낮은 Significance Level,
• 큰 Sample Size,
• 엄격한 검정 방법을 사용하여 잘못된 결론을 내릴 확률을 줄임.

이러한 접근방식은 특히 중요한 결정이나 정책에 영향을 미치는 연구에서 유용함.
다만, 더 많은 자원과 시간이 필요하다는 점도 고려해야 함.