.../Math

[Math] Vector (1)

Scalar오직 magnitude(크기)만을 가지는 물리량.숫자 하나.ndim=0, rank=0Vectormagnitude와 direction을 가지는 물리량.ordered list of numbers.ndim=1, rank=1로 vector가 표현됨. : vector는 다차원 vector space의 특정 point를 가르키는데 사용됨.zero vector모든 component(성분)의 값이 0인 vector차원 (Dimension)Vector의 component의 수. 는 3차원 vector space에 속하는 요소를 나타냄.전치 (Transpose)row와 column이 교환됨. row vector의 transpose는 column vector.$\..

Softplus

다음과 같은 함수를 softplus라고 하며, ANN에서 activation function으로 사용됨. $$\begin{aligned}\zeta(x)&=\log(1+e^x)\\&=\log(1+e^{-|x|})+\max(0,x)\end{aligned}$$ exponential function과 Logarithmic function을 더한 함수 (즉, Transcendental function의 하나임). y=max(x,0)(ReLU)와 매우 비슷하나 $x=0$ 근처에서 값이 보다 부드럽게 변함 (미분 가능) 위 식에서 $\log(1+e^x)$는 정의이고, 실제 ML등에서 사용되는 건 $\log(1+e^{-|x|})+\max(0,x)$ 임. $x$가 100정도만 되어도 정의식의 경우 numerical is..

Function (함수) : 간략 정의

Function은 흔히 mapping(사상), transformation(변환)이라는 용어로 불리기도 함. set으로 정의한다면, domain(정의역: 일종의 set)의 각 element에 대해 co-domain(공역: 역시 일종의 set)의 elements 중 오직 하나 로 대응시키는 Relation(or mapping)의 일종.→ 함수를 두 set(집합) 사이의 일종의 relation 으로 정의. 특정한 입력이 주어지면 거기에 따른 출력이 나오는 (maps to) 입출력 장치라고 볼 수 있음. Programming Language에서의 Function의 정의는 다음을 참고. https://dsaint31.tistory.com/506 [Python] Function Definition, Call and..