Logistic

[Math] Derivative of Logistic Function

Derivative (도함수) of Logistic Function (Sigmoid라고도 불림) $y=\sigma(x)=\dfrac{1}{1+e^{-x}}$ 를 미분하면 다음과 같음. $$\frac{d}{dx}\sigma(x)= \sigma(x)(1-\sigma(x))$$ graph 유도 유도는 다음과 같음. $$\begin{aligned}\frac{d}{dx}\sigma(x)&= \dfrac{0\times(1+e^{-1}) - 1\times(-e^{-1})}{(1+e^{-x})^2}\\&=\dfrac{e^{-x}}{(1+e^{-x})^2}\\ &= \frac{1}{(1+e^{-x})}\frac{e^{-x}}{(1+e^{-x})}\\ &= \frac{1}{(1+e^{-x})}\left( 1-\dfrac{..

[Math] Sigmoid function

S자형 곡선을 갖는 함수. (대표적인 예가 logistic function이나 sigmoid는 다음과 같이 여러 종류가 있음) Artificial Neural Network의 Artificial Neron의 Activation function으로 초창기에 많이 사용되었음. Logistic distribution, normal distribution, student $t$ distribution등의 probability distribution(확률 분포)들의 cumulative distribution function (cdf)이 바로 sigmoid function임. 때문에 sigmoid function에 대한 derivative는 normal distribution처럼 대칭이고 종모양의 분포를 보이는 함..

[ML] Logit에서 Logistic Function.

Logistic FunctionLogistic function은일종의 연속변수에 해당하는 "raw score"(정확히는 logit score)을 probability로 바꾸어주는 함수임: output이 0에서 1사이의 real number.미분가능!더보기Binary classification에서 True일 경우의 logit score가 0이상일 경우, True일 확률이 0.5이상에 해당한다.즉,  logit score 의 값이 양수로 클수록 대응하는 확률이 0.5보다 커지며, 음수로 커질수록 대응하는 확률이 0.5 이하록 작아짐.다음이 바로 logistic function임. $$\text{logistic}(t)=\sigma(t)=\frac{1}{1+e^{-t}}$$Sigmoid functions 중에서..