sigmoid

[DL] Softsign : tanh의 유사품

hyperbolic tangent (=tanh)와 유사한 함수. tanh 대신 activation function으로 사용되는 경우도 있음. $$\text{softsign}(x)=\frac{x}{1+|x|}$$ softsign의 derivative는 다음과 같음. $$\dfrac{d}{dx}\text{softsign}(x)=\dfrac{1}{\left(1+|x|\right)^2}$$ 차트 비교 관련소스 import numpy as np import matplotlib.pyplot as plt x = np.linspace(-20.,20., 100) softsign = x/ (1.+np.abs(x)) logistic = 1/ (1+np.exp(-x)) tanh = np.tanh(x) fig,ax = plt...

[DL] Hyperbolic Tangent Function (tanh)

logistic function과 함께 sigmoid의 대표적인 함수가 바로 $\text{tanh}$임. 값이 $[-1,1]$의 range를 가지며, logistic에 비해 기울기가 보다 급격하기 때문에 좀 더 빠른 수렴속도를 보임. 하지만, sigmoid의 일종이기 때문에 gradient vanishing에 자유롭지 못함. logistic보단 그래도 양호. 양 끝단에 갈 경우, 거의 기울기가 0임 RNN의 activation function으로 많이 이용된다. Exploding gradient가 쉽게 발생하는 RNN에서는 ReLU가 적합하지 않음. ReLU는 positive영역에서 기울기가 1로 계속해서 고정되면서, 결과값이 항상 0이상의 값으로 나오기 때문에 , 지나치게 gradient가 커지는 ex..

[Math] Sigmoid function

S자형 곡선을 갖는 함수. (대표적인 예가 logistic function이나 sigmoid는 다음과 같이 여러 종류가 있음) Artificial Neural Network의 Artificial Neron의 Activation function으로 초창기에 많이 사용되었음. Logistic distribution, normal distribution, student $t$ distribution등의 probability distribution(확률 분포)들의 cumulative distribution function (cdf)이 바로 sigmoid function임. 때문에 sigmoid function에 대한 derivative는 normal distribution처럼 대칭이고 종모양의 분포를 보이는 함..