Categorical Distribution일반적으로 multi-class classification (다중분류문제)에서 사용되는 확률분포.1. Categorical Random Variable$K$개(=class 갯수)의 정수값 중 하나를 가질 수 있는 확률변수.이때 가질 수 있는 $K$개의 정수값은 각각 class (또는 category) 에 해당함. 예를 들어, $K=2$인 경우, Bernoulli Random Variable과 동일.one-hot encoding을 사용하여 sample instance의 value가 vector로 나옴: moment들도 모두 vector임.대표적으로 주사위 던지기를 들 수 있고, 이때 $K=6$ 임.2. 주사위 예$$\begin{aligned} x &= 1 \qua..

Logistic FunctionLogistic function은일종의 연속변수에 해당하는 "raw score"(정확히는 logit score)을 probability로 바꾸어주는 함수임: output이 0에서 1사이의 real number.미분가능!더보기Binary classification에서 True일 경우의 logit score가 0이상일 경우, True일 확률이 0.5이상에 해당한다.즉, logit score 의 값이 큰 양수의 값일수록 대응하는 확률이 0.5보다 커지며, 음수로 커질수록 대응하는 확률이 0.5 이하로 작아짐. 0.5 가 decision boundary임.decsion boudnary가 선형이라고 가정하면 Hyper-plane이 된다. 해당 Hyper-plane이 logit sc..

Softmax 함수란?ML 에서 multiclass classification을 수행하는 모델의 최종 output을 출력하는 activation함수로 사용되는 함수.Softmax regression (=multinomial logistic regression)에서 사용됨.Logistic Function의 Generalization임.2022.06.06 - [Computer] - [ML] Logit에서 Logistic Function. [ML] Logit에서 Logistic Function.다음이 바로 logistic function임. $$\text{logistic}(t)=\sigma(t)=\frac{1}{1+e^{-t}}$$ Sigmoid functions 중에서 가장 유명한 것이다보니 sigmoid라..