Likelihood

[Math] Example: Probability, Odd, and Likelihood

'likelihood'는 어떤 상황에서 주로 사용됩니까? A) 동전 던지기와 같은 probability적 실험에서 B) 통계 모델의 매개변수를 추정할 때 C) 스포츠 배팅에서 D) 일상 대화에서 probability을 설명할 때 Ans. B) Likelihood(우도)는 model의 parameter가 어떠한 데이터(측정치)를 생성할 가능성을 나타냄.다음 중 probability에 관한 설명으로 틀린 것은? A) 0에서 1 사이의 값으로 표현된다. B) 사건의 발생 가능성을 측정한다. C) 양의 정수로 표현된다. D) 사건이 일어날 기대 정도를 나타낸다. Ans. C) probability는 0과 1 사이의 real number(실수)로 표현됨.probability이 0.8일 때의 'odds'는? A) ..

[Math] The Law of Total Probability

The Law of Total Probability (전확률의 법칙) $E_0, E_1, ... , E_{N-1}$이 sample space $S$의 partition이고, $P(E_i)>0$이면 다음이 성립 $$ P(A)=\displaystyle \sum^{N-1}_{i=0}P(B_i)P(A|B_i) $$ 위가 성립하는 것을 Law of Total Probability라고 부름. $P(A\cap B_i)=P(B_i)P(A|B_i)$으로 교집합의 확률을 얻어냄. Mutually exclusive 이면서 Exhaustive인 모든 partition들에 대해 계산할 경우 전체 확률을 얻어낼수 있음. sample space가 partition으로 구분되어진 경우 복잡한 확률을 partition으로 분해하여 간..

[ML] Likelihood (우도)

Likelihood (우도) 더보기 likelihood는 probability처럼 가능성을 나타낸다는 비슷한 측면도 있으나 다음과 같은 차이가 있음. probability처럼 likelihood는 상대적 비교는 가능 (즉, likelihood가 클수록 해당 event가 발생할 가능성이 큼)하나 모든 likelihood를 더한 값이 1이 나오지 않는다는 점에서 차이가 있음. 현재 알려진 사전확률 $P(H_i)$를 바탕으로 Event $E$가 일어날 가능성 기존 모델 혹은 가설($H_i$) 이 맞다는 가정하에 해당 관측(or Event) $E$가 일어날 가능성 $$ P(E|H_i) $$ 예를 들어, 조리가 완료된 라면에서 스프를 면보다 먼저 물에 넣었는지, 아니면 면을 스프보다 먼저 넣었는지를 구분할 수 있..