Logistic FunctionLogistic function은일종의 연속변수에 해당하는 "raw score"(정확히는 logit score)을 probability로 바꾸어주는 함수임: output이 0에서 1사이의 real number.미분가능!더보기Binary classification에서 True일 경우의 logit score가 0이상일 경우, True일 확률이 0.5이상에 해당한다.즉,  logit score 의 값이 양수로 클수록 대응하는 확률이 0.5보다 커지며, 음수로 커질수록 대응하는 확률이 0.5 이하록 작아짐.다음이 바로 logistic function임. $$\text{logistic}(t)=\sigma(t)=\frac{1}{1+e^{-t}}$$Sigmoid functions 중에서..

Softmax function은 Logistic function의 generic form 즉 일반형이라고 할 수 있음. 달리 말하면, Logistic function은 Softmax function에서 class의 수가 2인 특별한 경우에 해당함. 우선 softmax function은 다음과 같음. $$\sigma(c_i)=\frac{e^{c_i}}{\sum^N_{i=0}e^{c_i}}$$ where $N$ : # of classes - 1. $c_i$ : $i$-th categorical variable. i번째 class에 속할 가능성을 나타내는 logit score. 참고로 logit score는 특정 입력이 각 class에 속할 probability에 대응하는 "raw score"로 값이 클수록 ..

이 문서는 Numerator Layout Convention 을 사용함.Hessian : Summary 2nd order derivative of multivariable function.여기서 multivariable function은 입력은 vector, 출력은 scalar 인 함수를 의미함: ML에서의 loss function을 생각해 볼 것.Hessian matrix $H[f](\textbf{x})$는 다음과 같음.$$\begin{aligned}H[f](\textbf{x})=H(\textbf{x})&=\left(J\left[\nabla f(\textbf{x})\right]\right)^\top \\ &= \begin{bmatrix}\dfrac{\partial^2 f}{\partial x_1^2} ..

Likelihood (우도) : 더보기likelihood는 probability처럼 가능성을 나타낸다는 비슷한 측면도 있으나 다음과 같은 차이가 있음.probability처럼 likelihood는 상대적 비교는 가능 (즉, likelihood가 클수록 해당 event가 발생할 가능성이 큼)하나모든 likelihood를 더한 값이 1이 나오지 않는다는 점에서 차이가 있음.현재 알려진 사전확률 $P(H_i)$를 바탕으로 Event $E$가 일어날 가능성:기존 모델 혹은 가설($H_i$) 이 맞다는 가정하에 해당 관측(or Event) $E$가 일어날 가능성$$P(E|H_i)$$예를 들어,조리가 완료된 라면에서 스프를 면보다 먼저 물에 넣었는지, 아니면 면을 스프보다 먼저 넣었는지를 구분할 수 있는지에 대한 ..

Orinary Least Square는 다음과 같은 최소화 문제임. $$\underset{\textbf{x}}{\text{argmin}}\|\textbf{b}-A\textbf{x}\|_2^2$$ $\|\textbf{b}-A\textbf{x}\|_2^2$를 전개하면 다음과 같음. $$\begin{aligned}\|\textbf{b}-A\textbf{x}\|_2^2&=(\textbf{b}-A\textbf{x})^T(\textbf{b}-A\textbf{x})\\ &=(\textbf{b}^T-\textbf{x}^TA^T)(\textbf{b}-A\textbf{x})\\ &=\textbf{b}^T\textbf{b}-\textbf{x}^TA^T\textbf{b}-\textbf{b}^TA\textbf{x}+\textb..

Summary Support vector machine 은 classifier 의 한 유형 : (regression도 가능함). Support vector 만을 사용하여 분류의 기준인 hyperplane 이 계산되어지기 때문에 Support vector machine이라는 이름이 유래됨. Machine 은 vector 형태의 입력을 통해 decision (클래스의 분류)을 하는 의사결정머신 이라는 점에 착안. Support vector 를 이용하여 generalization error 를 최소화하는 classifier 를 만들 수 있음. 가장 우수한 supervised learning algorithm 중 하나로 꼽힘. 단, SVM 의 성능은 hyper parameter (C, gamma) 및 kerne..