다음과 같은 함수를 softplus라고 하며, ANN에서 activation function으로 사용됨. $$\begin{aligned}\zeta(x)&=\log(1+e^x)\\&=\log(1+e^{-|x|})+\max(0,x)\end{aligned}$$ exponential function과 Logarithmic function을 더한 함수 (즉, Transcendental function의 하나임). y=max(x,0)(ReLU)와 매우 비슷하나 $x=0$ 근처에서 값이 보다 부드럽게 변함 (미분 가능) 위 식에서 $\log(1+e^x)$는 정의이고, 실제 ML등에서 사용되는 건 $\log(1+e^{-|x|})+\max(0,x)$ 임. $x$가 100정도만 되어도 정의식의 경우 numerical is..

Function은 흔히 mapping(사상), transformation(변환)이라는 용어로 불리기도 함. set으로 정의한다면, domain(정의역: 일종의 set)의 각 element에 대해co-domain(공역: 역시 일종의 set)의 elements 중 오직 하나 로 대응시키는Relation(or mapping)의 일종 ▶ 함수를 두 set(집합) 사이의 일종의 relation 으로 정의.특정한 입력이 주어지면 거기에 따른 출력이 나오는 (maps to) 입출력 장치라고 볼 수 있음. Programming Language에서의 Function의 정의는 다음을 참고.https://dsaint31.tistory.com/506 [Python] Function Definition, Call and Ar..