[Math] Probability 란: Probability, Odds, Likelihood

Probability란 ? 

어떠한 event(사건, 사상)의 공간(=sample space, 발생가능한 모든 sample points로 구성된 set)에서
특정 event(or sample point의 set으로 sample space의 subset)가 선택될(발생할) 수 있는

불확실성(uncertainity)을 수치적으로 나타낸 것.

어떤 event가 일어날 수 있는 경우의
불확실성(uncetainity)을 수치적으로 나타낸 것

 

예를 들어 설명하면 다음과 같음.

• sample space(◁ 모든 가능한sample points의 set) : 주사위 던지기로 나올 수 있는 모든 결과(sample point)들의 집합.
• event(or sample) : 주사위 던지기의 눈의 갯수 또는 sample space의 subset
  • 주사위 던지기에서 2 나오는 경우
  • 주사위 던지기에서 홀수가 나오는 경우.

event $E$에 대한 probability (event $E$의 확률)를 다음과 같이 표현

$$
p(E)
$$

 

주의 : event는 set (◁subset of sample space($S$))이라는 점을 잊지 말자: element가 아님.

 

Whenever you speak of the probability of something,
the “something” is called an event.

2022.10.14 - [.../Math] - [Math] Sample Space (표본공간)

[Math] Sample Space (표본공간)

 

---

Axiom of Probability

다음의 세 axiom을 만족하는 function $p$를 probability라고 한다.

1. $p(S)=1$
2. $p(E) \ge 0, E\in S$
3. $A \cap B = \emptyset \Rightarrow p(A\cup B)=p(A)+ p(B)$

위의 axiom들은 특정 event의 probability를 결정해주는 게 아님.
단지 확률값을 event에 할당할 때 모순없이 일관성있도록 보장해주는 규칙에 불과.

 

probability를 function이라고 할 때,
입력은 set (실제론 subset)임.

---

종류

2022.04.21 - [.../Math] - [Math] The Law of Large Numbers (or The weak law of large numbers)

[Math] The Law of Large Numbers (or The weak law of large numbers)

---

Analytic view : 수학적 확률, Laplace probability

• 일어날 수 있는 모든 경우의 수에서 특정 사건(A)이 일어나는 경우의 수의 ratio
• sample space $S$가 유한한 균등분포일 경우 $p(A)=\dfrac{n(A)}{n(S)}$

Frequentist’s view : 빈도주의자적 확률 (일반적인 통계적 확률)

• 정의: $\displaystyle \lim_{n \to \infty} \dfrac{r_n}{n}=p$
  • 같은 시행(or 확률실험)을 $n$회 반복 수행하여 특정 사건(A)가 일어난 횟수를 $r_n$이라고 할 때,
  • $n$을 한없이 크게 증가시킬 경우
  • $\dfrac{r_n}{n}$의 값이 일정한 $p$ 로 수렴하게 되는데,
  • 이 때의 $p$를 해당 사건A의 확률이라고 함.
  • $n$이 무한대인 경우, $p$는 수학적확률과 같다.
•  The law of large number에 기반함.
  
  •  Laplace probability 를 모르는 경우에도 Random Experiment(확률실험)을 실제로 수행하여 구할 수 있음
  • 과거의 수행을 통해 확률이 결정됨.
  • 실험할 수 없는 경우, (한 번도 일어난 적이 없는 일에 대한) 확률은 못 구함

Bayesianism : degree of plausibility or degree of belief.

• • 주관적 확률 (subjective probability). 주관적 믿음
  • Definition of probability in terms of personal subjective belief in the likelihood of an outcome.

빈도주의자 확률과 Bayesianism

빈도주의자 (frequentist) 와 베이즈주의자 (Bayesian) 모두

동전 던지기를 했을 때 앞면이 나올 확률을 1/2 의 확률로 계산.

 

단, frequentist는 1/2을 객관적 확률로서 받아들이는 것이고

bayesian은 1/2을 subjective belief(주관적 믿음)의 정도로 바라보는 차이는 있음

 

그러나 베이즈주의자 만이 10 억 년전에 화성에 생명체가 있었다는 명제에 대해,

단지 개인적인 믿음으로써 확률 1/1000을 부여할 수 있음.

빈도주의자 (frequentist)에게는 이것은 불가능한 일임.

 

Bayesianism은 주관적 확률을 채용함으로서

"A국가에서 혁명이 일어날 확률" 혹은 "신이 존재할 확률"등을 다루고 계산할 수 있게 됨.

---

관련 법칙

2024.04.18 - [.../Math] - [Math] 확률의 법칙들

[Math] 확률의 법칙들

 

---

참고: Likelihood 와 Odds - Probability와 유사한 개념들

Likelihood(우도)는 관측된 데이터($E$)가 특정 확률분포 ($H_i$) 하에서 발생할 확률을 나타내는 함수로서
베이지안 통계와 최대우도추정(MLE)에서 중요한 개념이며 주어진 특정 확률분포($H_i$)에 대한 데이터의 conditional probability임.​​​​​​​​​​​​​​​​

2022.06.02 - [.../Math] - [ML] Likelihood (우도, 기대값)

[ML] Likelihood (우도, 기대값)

 

Odds는 특정 event가 일어날 확률($p$)를 일어나지 않을 확률($1-p$)로 나눈 값. odds가 0.1/0.9 라면 fractional odds(분수형 배당률)은 이의 reciprocal인 9로서 이는 1원을 베팅할 경우 이기면 9원의 수익이 기대됨을 의미 ("받는 돈"은 "걸었던 1원 + 수익 9원" = 10원). 

2022.06.06 - [.../Math] - [Math] Odds (승산, 승률)

[Math] Odds (승산, 승률)

---

관련하여 읽어보면 좋은 자료.

2022.10.14 - [.../Math] - [Math] Random Experiment (확률 실험, Trial, 시행)와 Event

[Math] Random Experiment (확률 실험, Trial, 시행)와 Event

 

2022.10.14 - [.../Math] - [Math] Sample Space (표본공간)

[Math] Sample Space (표본공간)

 

2022.05.01 - [.../Math] - [Statistics] Sample Point Method

[Statistics] Sample Point Method

 

2023.03.09 - [.../Math] - [Math] Random Variable

[Math] Random Variable

---

같이 읽어보면 좋은 자료들.

2024.05.02 - [분류 전체보기] - [Math] Example: Probability, Odd, and Likelihood

[Math] Example: Probability, Odd, and Likelihood

2024.04.18 - [.../Math] - [Math] Probability Distribution

[Math] Probability Distribution

---

참고자료.

• http://egloos.zum.com/wlan/v/10222563
• http://www.aistudy.com/math/bayesian_probability.htm
• http://www.aistudy.com/math/probability.htm
• https://en.wikipedia.org/wiki/Bayesian_probability
• Data Science from Scratch (Joel Grus, O'reilly)
• Fundamental Statistics for the Behavioral Sciences (David C. Howell)
• https://www.uvm.edu/~dhowell/fundamentals8/