non-linear

Softplus

다음과 같은 함수를 softplus라고 하며, ANN에서 activation function으로 사용됨. $$\begin{aligned}\zeta(x)&=\log(1+e^x)\\&=\log(1+e^{-|x|})+\max(0,x)\end{aligned}$$ exponential function과 Logarithmic function을 더한 함수 (즉, Transcendental function의 하나임). y=max(x,0)(ReLU)와 매우 비슷하나 $x=0$ 근처에서 값이 보다 부드럽게 변함 (미분 가능) 위 식에서 $\log(1+e^x)$는 정의이고, 실제 ML등에서 사용되는 건 $\log(1+e^{-|x|})+\max(0,x)$ 임. $x$가 100정도만 되어도 정의식의 경우 numerical is..