softmax function

Softmax function은 Logistic function의 generic form 즉 일반형이라고 할 수 있음. 달리 말하면, Logistic function은 Softmax function에서 class의 수가 2인 특별한 경우에 해당함. 우선 softmax function은 다음과 같음. $$\sigma(c_i)=\frac{e^{c_i}}{\sum^N_{i=0}e^{c_i}}$$ where $N$ : # of classes - 1. $c_i$ : $i$-th categorical variable. i번째 class에 속할 가능성을 나타내는 logit score. 참고로 logit score는 특정 입력이 각 class에 속할 probability에 대응하는 "raw score"로 값이 클수록 ..