Probability

[Math] Example: Probability, Odd, and Likelihood

'likelihood'는 어떤 상황에서 주로 사용됩니까? A) 동전 던지기와 같은 probability적 실험에서 B) 통계 모델의 매개변수를 추정할 때 C) 스포츠 배팅에서 D) 일상 대화에서 probability을 설명할 때 Ans. B) Likelihood(우도)는 model의 parameter가 어떠한 데이터(측정치)를 생성할 가능성을 나타냄.다음 중 probability에 관한 설명으로 틀린 것은? A) 0에서 1 사이의 값으로 표현된다. B) 사건의 발생 가능성을 측정한다. C) 양의 정수로 표현된다. D) 사건이 일어날 기대 정도를 나타낸다. Ans. C) probability는 0과 1 사이의 real number(실수)로 표현됨.probability이 0.8일 때의 'odds'는? A) ..

[Math] The Law of Total Probability

The Law of Total Probability (전확률의 법칙) $E_0, E_1, ... , E_{N-1}$이 sample space $S$의 partition이고, $P(E_i)>0$이면 다음이 성립 $$ P(A)=\displaystyle \sum^{N-1}_{i=0}P(B_i)P(A|B_i) $$ 위가 성립하는 것을 Law of Total Probability라고 부름. $P(A\cap B_i)=P(B_i)P(A|B_i)$으로 교집합의 확률을 얻어냄. Mutually exclusive 이면서 Exhaustive인 모든 partition들에 대해 계산할 경우 전체 확률을 얻어낼수 있음. sample space가 partition으로 구분되어진 경우 복잡한 확률을 partition으로 분해하여 간..

[Math] Probability Distribution

Probability DistributionProbability Distribution은 특정 random variable(확률 변수)이 취할 수 있는 각각의 값에 대한 확률을 나타내는 분포임.Probability Distribution Function으로 기술되며,random variable이 어떤 값을 얼마나 자주 취하는지를 나타냄.이를 통해 random variable의 특성과 동작을 이해할 수 있음.Definition of PDFrandom variable $X$가 가질 수 있는 특정한 value $x$와 이 $x$에 대응하는 확률을 매핑하고 있는 function.PDF는 abbreviation of Probability Distribution Function.pdf는 probability den..

[Math] Bernoulli Distribution (베르누이 분포)

Bernoulli distribution (베르누이 분포)은 Probability Distribution에서 가장 단순한 분포 중 하나 임. 주로 binary classification task에서 많이 사용됨. Bernoulli Trial 결과가 2가지 중 하나로만 나오는 trial(시행, 시도, 실험)을 가르킴. 대표적인 예로 동전 던지기(Head or Tail)가 Bernoulli trial에 해당. Bernoulli Random Variable Bernoulli trial의 결과를 숫자 0,1 (또는 -1, 1)로 할당한 random variable(확률변수). discrete random variable 로 2개의 값 중 하나만 가질 수 있는 특징을 가짐. Bernoulli Distributio..

[ML] Likelihood (우도)

Likelihood (우도) 더보기 likelihood는 probability처럼 가능성을 나타낸다는 비슷한 측면도 있으나 다음과 같은 차이가 있음. probability처럼 likelihood는 상대적 비교는 가능 (즉, likelihood가 클수록 해당 event가 발생할 가능성이 큼)하나 모든 likelihood를 더한 값이 1이 나오지 않는다는 점에서 차이가 있음. 현재 알려진 사전확률 $P(H_i)$를 바탕으로 Event $E$가 일어날 가능성 기존 모델 혹은 가설($H_i$) 이 맞다는 가정하에 해당 관측(or Event) $E$가 일어날 가능성 $$ P(E|H_i) $$ 예를 들어, 조리가 완료된 라면에서 스프를 면보다 먼저 물에 넣었는지, 아니면 면을 스프보다 먼저 넣었는지를 구분할 수 있..

[Statistics] Sample Point Method

확률을 구하기위한 가장 기본적인 방법. Random experiment (or Random trial)에 따른 Sample space $S$를 정의. Sample space의 각 element (=sample point)들에 대한 probability(확률값)을 할당. 확률을 알고자 하는 event ( The subset of sample space)에 속하는 element를 정의. 확률을 알고자 하는 element에 속하는 모든 element (=sample point)들의 probability를 더해서 해당 event의 확률을 구함. 예제: 모양과 색깔이 같은 감기약 두 알과 두통약 두 알이 한 병에 있을 때, A, B 두사람이 한 알씩 꺼낼 경우, A가 감기약을 B가 두통약을 꺼낼 확률은? 풀이: ..