Likelihood (우도)더보기likelihood는 probability처럼 가능성을 나타낸다는 비슷한 측면도 있으나 다음과 같은 차이가 있음.probability처럼 likelihood는 상대적 비교는 가능 (즉, likelihood가 클수록 해당 event가 발생할 가능성이 큼)하나모든 likelihood를 더한 값이 1이 나오지 않는다는 점에서 차이가 있음.현재 알려진 사전확률 $P(H_i)$를 바탕으로 Event $E$가 일어날 가능성기존 모델 혹은 가설($H_i$) 이 맞다는 가정하에 해당 관측(or Event) $E$가 일어날 가능성$$P(E|H_i)$$예를 들어, 조리가 완료된 라면에서 스프를 면보다 먼저 물에 넣었는지, 아니면 면을 스프보다 먼저 넣었는지를 구분할 수 있는지에 대한 가설이..

Orinary Least Square는 다음과 같은 최소화 문제임. $$\underset{\textbf{x}}{\text{argmin}}\|\textbf{b}-A\textbf{x}\|_2^2$$ $\|\textbf{b}-A\textbf{x}\|_2^2$를 전개하면 다음과 같음. $$\begin{aligned}\|\textbf{b}-A\textbf{x}\|_2^2&=(\textbf{b}-A\textbf{x})^T(\textbf{b}-A\textbf{x})\\ &=(\textbf{b}^T-\textbf{x}^TA^T)(\textbf{b}-A\textbf{x})\\ &=\textbf{b}^T\textbf{b}-\textbf{x}^TA^T\textbf{b}-\textbf{b}^TA\textbf{x}+\textb..

Summary Support vector machine 은 classifier 의 한 유형 : (regression도 가능함). Support vector 만을 사용하여 분류의 기준인 hyperplane 이 계산되어지기 때문에 Support vector machine이라는 이름이 유래됨. Machine 은 vector 형태의 입력을 통해 decision (클래스의 분류)을 하는 의사결정머신 이라는 점에 착안. Support vector 를 이용하여 generalization error 를 최소화하는 classifier 를 만들 수 있음. 가장 우수한 supervised learning algorithm 중 하나로 꼽힘. 단, SVM 의 성능은 hyper parameter (C, gamma) 및 kerne..

필요조건, 충분조건, 필요충분조건명제 (proposition)을 다룰 때 자주 나오는 애기임.명제 (proposition)이란?참(True)이나 거짓(False)를 판별할 수 있는 식(expression)이나 문장(statment).conditional proposition(조건명제)가필요조건, 충분조건, 및 필요충분조건 을 설명할 때 주로 사용되며논리학 또는 기초 수학에서 흔히 보임:premise(전제)와 conclusion(결론)의 두 집합간의 포함관계를 나타냄.conditional proposition은 Implication(함의) 라고도 불리며,premise가 참이면 conclusiont도 참이라는 논리적 관계로 if-then으로 자주 표기됨.$p$, premise(전제) 와 $q$, conclu..

Plane EquationPlane Equation은 다음과 같음.$$\textbf{n}^\top\textbf{r}_\text{plane}+b_\text{bias}=0$$where$\textbf{n}$ : normal vector to a plane.$\textbf{r}_{\text{plane}}$ : plane에 속하는 점들의 position vector$b_{\text{bias}}$ : bias. (scalar)임.왼쪽 그림에서Point $\textbf{P}$와 $\textbf{P}_0$는 평면 위의 서로 다른 점이며 Position Vector $\textbf{r}$과 $\textbf{r}_0$로 표현됨.$\textbf{n}$은 평면에 대한 Normal Vector (법선벡터)임.( 평면의 속하는 ..

Projection $\textbf{x}_1$  onto $\textbf{w}$ (vector $\bf{x}$를 vector $\bf{w}$에 투영) 를 수식으로 표현하면 다음과 같음. $$\begin{aligned}\text{proj}_\textbf{w}\textbf{x}&=\dfrac{\bf{x}\cdot\bf{w}}{\bf{w}\cdot\bf{w}}\bf{w}=\dfrac{\bf{x}\cdot\bf{w}}{\bf{w}^\top\bf{w}}\bf{w}=\dfrac{\bf{x}\cdot\bf{w}}{\|\bf{w}\|^2}\bf{w}\\&=\dfrac{\bf{x}\cdot\bf{w}}{\|\bf{w}\|} \frac{\bf{w}}{\|\bf{w}\|} \\&=\mathbf{w}\dfrac{\mathbf..