[Math] Probability 란: Probability, Odds, Likelihood

Probability란?

어떠한 event(사건, 사상)의 공간(=sample space, 발생가능한 모든 sample로 구성된 set)에서
특정 event(or sample의 set)가 선택될(발생할) 수 있는

불확실성(uncertainity)을 수치적으로 나타낸 것.

어떤 event가 일어날 수 있는 경우의 불확실성을 수치적으로 나타낸것

 

예를 들어 설명하면 다음과 같음.

• sample space(←event의 공간) : 주사위 던지기로 나올 수 있는 모든 결과들의 집합.
• event(or sample) : 주사위 던지기의 눈의 갯수 또는 event의 공간의 subset
  • 주사위 던지기에서 2 나오는 경우
  • 주사위 던지기에서 홀수가 나오는 경우.

event E에 대한 probability (event $E$의 확률)를 다음과 같이 표현

$$p(E)$$

 

주의 : event는 set (←subset of sample space($S$))이라는 점을 잊지 말자: element가 아님.

 

Whenever you speak of the probability of something,
the “something” is called an event.

---

Axiom of Probability

다음의 세 axiom을 만족하는 function $p$를 probability라고 한다.

1. $p(S)=1$
2. $p(E) \ge 0, E\in S$
3. $A \cap B = \emptyset \Rightarrow p(A\cup B)=p(A)+ p(B)$

위의 axiom들은 특정 event의 probability를 결정해주는 게 아님.
단지 확률값을 event에 할당할 때 모순없이 일관성있도록 보장해주는 규칙에 불과.

 

probability를 function이라고 할 때,
입력은 set (실제론 subset)임.

---

종류

• Analytic view : 수학적 확률, Laplace probability
  • 일어날 수 있는 모든 경우의 수에서 특정 사건(A)이 일어나는 경우의 수의 ratio
  • sample space $S$가 유한한 균등분포일 경우 $p(A)=\dfrac{n(A)}{n(S)}$
•  Frequentist’s view : 빈도주의자적 확률 (일반적인 통계적 확률)
  • 정의: $\displaystyle \lim_{n \to \infty} \dfrac{r_n}{n}=p$
    • 같은 시행(or 확률실험)을 $n$회 반복 수행하여 특정 사건(A)가 일어난 횟수를 $r_n$이라고 할 때,
    • $n$을 한없이 크게 증가시킬 경우
    • $\dfrac{r_n}{n}$의 값이 일정한 $p$ 로 수렴하게 되는데,
    • 이 때의 $p$를 해당 사건A의 확률이라고 함.
    • $n$이 무한대인 경우, $p$는 수학적확률과 같다.
  •  The law of large number에 기반함.
    
    •  Laplace probability 를 모르는 경우에도 확률실험을 실제로 수행하여 구할 수 있음
    • 과거의 수행을 통해 확률이 결정됨.
    • 실험할 수 없는 경우, (한 번도 일어난 적이 없는 일에 대한) 확률은 못 구함
•   Bayeianism : degree of plausibility or degree of belief.

• • 주관적 확률 (subjective probability). 주관적 믿음
  • Definition of probability in terms of personal subjective belief in the likelihood of an outcome.

빈도주의자 확률과 Bayesianism

 

빈도주의자 (frequentist) 와 베이즈주의자 (Bayesian) 모두 동전 던지기를 했을 때 앞면이 나올 확률을 1/2 의 확률로 계산.

단, frequentist는 1/2을 객관적 확률로서 받아들이는 것이고

bayesian은 1/2을 주관적 믿음의 정도로 바라보는 차이는 있음

 

그러나 베이즈주의자 만이 10 억 년전에 화성에 생명체가 있었다는 명제에 대해,

단지 개인적인 믿음으로써 확률 1/1000을 부여할 수 있음.

빈도주의자 (frequentist)에게는 이것은 불가능한 일임.

 

Bayesianism은 주관적 확률을 채용함으로서

"A국가에서 혁명이 일어날 확률" 혹은 "신이 존재할 확률"등을 다루고 계산할 수 있게 됨.

---

Likelihood 와 Odds

2022.06.02 - [.../Math] - [ML] Likelihood (우도)

[ML] Likelihood (우도)

2022.06.06 - [.../Math] - [Math] Odds (승산, 승률)

[Math] Odds (승산, 승률)

---

관련하여 읽어보면 좋은 자료.

2022.10.14 - [.../Math] - [Math] Random Experiment (확률 실험, Trial, 시행)와 Event

 

[Math] Random Experiment (확률 실험, Trial, 시행)와 Event

2022.10.14 - [.../Math] - [Math] Sample Space (표본공간)

[Math] Sample Space (표본공간)

2022.05.01 - [.../Math] - [Statistics] Sample Point Method

[Statistics] Sample Point Method

2023.03.09 - [.../Math] - [Math] Random Variable

[Math] Random Variable

---

같이 읽어보면 좋은 자료들.

2024.05.02 - [분류 전체보기] - [Math] Example: Probability, Odd, and Likelihood

[Math] Example: Probability, Odd, and Likelihood

---

참고자료.

• http://egloos.zum.com/wlan/v/10222563
• http://www.aistudy.com/math/bayesian_probability.htm
• http://www.aistudy.com/math/probability.htm
• https://en.wikipedia.org/wiki/Bayesian_probability
• Data Science from Scratch (Joel Grus, O'reilly)
• Fundamental Statistics for the Behavioral Sciences (David C. Howell)
• https://www.uvm.edu/~dhowell/fundamentals8/