hyperbolic

[DL] Hyperbolic Tangent Function (tanh)

logistic function과 함께 sigmoid의 대표적인 함수가 바로 $\text{tanh}$임. 값이 $[-1,1]$의 range를 가지며, logistic에 비해 기울기가 보다 급격하기 때문에 좀 더 빠른 수렴속도를 보임. 하지만, sigmoid의 일종이기 때문에 gradient vanishing에 자유롭지 못함. logistic보단 그래도 양호. 양 끝단에 갈 경우, 거의 기울기가 0임 RNN의 activation function으로 많이 이용된다. Exploding gradient가 쉽게 발생하는 RNN에서는 ReLU가 적합하지 않음. ReLU는 positive영역에서 기울기가 1로 계속해서 고정되면서, 결과값이 항상 0이상의 값으로 나오기 때문에 , 지나치게 gradient가 커지는 ex..