...

[Math] Odds (승산, 승률)

$$\text{Odds} = \frac{p}{1-p}$$ where $p$is the probability of belonging to class of $1$ (success). odds의 range는 $[0,\infty]$ 임. (symmetric) probability가 $[0,1]$ 것과 차이가 있음. 어떤 event가 일어날 가능성에 대한 정량적 정보를 제공하나, probability와는 다름. likelihood, odds, probability 모두 어떤 event가 일어날지에 대한 정량적 비교는 가능하나 조금씩 차이가 있음. case control study에서 매우 probability가 낮은 경우에 대한 risk ratio를 odds ratio가 대체하기도 함. Ex NC의 우승 odds..

[ML] Likelihood (우도)

Likelihood (우도)더보기likelihood는 probability처럼 가능성을 나타낸다는 비슷한 측면도 있으나 다음과 같은 차이가 있음.probability처럼 likelihood는 상대적 비교는 가능 (즉, likelihood가 클수록 해당 event가 발생할 가능성이 큼)하나모든 likelihood를 더한 값이 1이 나오지 않는다는 점에서 차이가 있음.현재 알려진 사전확률 $P(H_i)$를 바탕으로 Event $E$가 일어날 가능성기존 모델 혹은 가설($H_i$) 이 맞다는 가정하에 해당 관측(or Event) $E$가 일어날 가능성$$P(E|H_i)$$예를 들어, 조리가 완료된 라면에서 스프를 면보다 먼저 물에 넣었는지, 아니면 면을 스프보다 먼저 넣었는지를 구분할 수 있는지에 대한 가설이..

[Math] Normal Equation : Vector derivative(Numerator Layout)를 이용한 유도

Orinary Least Square는 다음과 같은 최소화 문제임. $$\underset{\textbf{x}}{\text{argmin}}\|\textbf{b}-A\textbf{x}\|_2^2$$ $\|\textbf{b}-A\textbf{x}\|_2^2$를 전개하면 다음과 같음. $$\begin{aligned}\|\textbf{b}-A\textbf{x}\|_2^2&=(\textbf{b}-A\textbf{x})^T(\textbf{b}-A\textbf{x})\\ &=(\textbf{b}^T-\textbf{x}^TA^T)(\textbf{b}-A\textbf{x})\\ &=\textbf{b}^T\textbf{b}-\textbf{x}^TA^T\textbf{b}-\textbf{b}^TA\textbf{x}+\textb..

[Math] 필요조건, 충분조건, 필요충분조건

필요조건, 충분조건, 필요충분조건 명제 (proposition)을 다룰 때 자주 나오는 애기임. 명제 (proposition)이란? 참(True)이나 거짓(False)를 판별할 수 있는 식(expression)이나 문장(statment). 실상은, premise와 conclusion의 두 집합간의 포함관계를 나타내는 문장으로 생각하는게 낫다. $p$, premise(전제) 와 $q$, conclusion(결론) 으로 구성됨. $p$ 이면, $q$ 이다. (전형적인 명제) 주로 $p$와 $q$의 관계는 function이 그러했던 것처럼 집합(set)을 이용하여 자주 설명됨. " $p$ 이면, $q$ 이다. 여기서 $p$와 $q$를 어떤 집합이라고 생각하자. 이 경우, 해당 명제가 참이 되기 위해선 $p$는..

[Math] Plane equation : 평면의 방정식

Plane equation은 다음과 같음. $$\textbf{n}^T\textbf{r}_\text{plane}+b_\text{bias}=0$$ where $\textbf{n}$ : normal vector to a plane. $\textbf{r}_{\text{plane}}$ : plane에 속하는 점들의 position vector $b_{\text{bias}}$ : bias. (scalar)임. 그림에서 Point $\textbf{P}$와 $\textbf{P}_0$는 평면 위의 서로 다른 점이며 position vector $\textbf{r}$과 $\textbf{r}_0$로 표현 가능함. $\textbf{n}$은 평면에 대한 normal vector( 평면의 속하는 모든 vector와 orthogo..

[Math] Orthogonal Projection (정사영)

Projection $\textbf{x}_1$ onto $\textbf{w}$ (vector $\bf{x}$를 vector $\bf{w}$에 투영) 를 수식으로 표현하면 다음과 같음. $$\text{proj}_\textbf{w}\textbf{x}=\dfrac{\bf{x}\cdot\bf{w}}{\bf{w}\cdot\bf{w}}\bf{w}=\dfrac{\bf{x}\cdot\bf{w}}{\bf{w}^T\bf{w}}\bf{w}=\dfrac{\bf{x}\cdot\bf{w}}{\|\bf{w}\|^2}\bf{w}$$ 유도과정 은 다음과 같음. 위의 그림에서 벡터 $\bf{x}$가 벡터 $\bf{w}$에 내린 orthogonal projection(정사영)인 벡터 $\bf{h}$는 벡터 $\bf{w}$에 평행하므로 $..