hyperbolic

logistic function과 함께 sigmoid의 대표적인 함수가 바로 $\text{tanh}$임.값이 $[-1,1]$의 range를 가지며, logistic에 비해 기울기가 보다 급격하기 때문에 좀 더 빠른 수렴속도를 보임.하지만, sigmoid의 일종이기 때문에 gradient vanishing에 자유롭지 못함.logistic보단 그래도 양호한 편이나sigmoid의 일종이기 때문에, 양 끝단에 갈 경우 기울기가 0에 수렴.RNN의 activation function으로 많이 이용된다.Exploding gradient가 쉽게 발생하는 RNN(Recurrent Neural Network)에서는 ReLU가 적합하지 않음.Weight matrix의 eigenvalue (특히, max eigenvalue..