tanh

[DL] Softsign : tanh의 유사품

hyperbolic tangent (=tanh)와 유사한 함수. tanh 대신 activation function으로 사용되는 경우도 있음. $$\text{softsign}(x)=\frac{x}{1+|x|}$$ softsign의 derivative는 다음과 같음. $$\dfrac{d}{dx}\text{softsign}(x)=\dfrac{1}{\left(1+|x|\right)^2}$$ 차트 비교 관련소스 import numpy as np import matplotlib.pyplot as plt x = np.linspace(-20.,20., 100) softsign = x/ (1.+np.abs(x)) logistic = 1/ (1+np.exp(-x)) tanh = np.tanh(x) fig,ax = plt...

[DL] Hyperbolic Tangent Function (tanh)

logistic function과 함께 sigmoid의 대표적인 함수가 바로 $\text{tanh}$임. 값이 $[-1,1]$의 range를 가지며, logistic에 비해 기울기가 보다 급격하기 때문에 좀 더 빠른 수렴속도를 보임. 하지만, sigmoid의 일종이기 때문에 gradient vanishing에 자유롭지 못함. logistic보단 그래도 양호. 양 끝단에 갈 경우, 거의 기울기가 0임 RNN의 activation function으로 많이 이용된다. Exploding gradient가 쉽게 발생하는 RNN에서는 ReLU가 적합하지 않음. ReLU는 positive영역에서 기울기가 1로 계속해서 고정되면서, 결과값이 항상 0이상의 값으로 나오기 때문에 , 지나치게 gradient가 커지는 ex..