DefinitionTranscendental Function 는 Algebraic Function 과 달리 Polynomial Eqaution 을 만족하지 않는 Analytic Function. A transcendental function is an analytic function that does not satisfy a polynomial equation, in contrast to an algebraic function. (The polynomials sometimes must have rational coefficients.) 쉽게 말해서 algebraic function을 제외한Analytic functions가  transcendental function임.In other words, a t..

DefinitionAn algebraic function is a function that can be defined as the root of a polynomial equation. 다항식 방정식의 근(or solutoin,해)으로 정의(표현)될 수 있는 function. Quite often algebraic functions are algebraic expressions using a finite number of terms (항),involving only the algebraic operations (대수적 연산) addition, subtraction, multiplication, division, and raising toa fractional power (거듭제곱을 확장한 것).Simpl..

Rational function (유리함수) 함수 $f(x)$가 $x$에 대한 rational expression(유리식)일 때, $y=f(x)$를 rational function이라 함.아래와 같은 형태의 function. $$ f(x)=\dfrac{N(x)}{D(x)} $$ 분수에서 분모가 0이 되어선 안 되므로, domain의 범위를 항상 주의해야함.분모가 0인 경우, rational func.의 값은 정의될 수 없음.rational function은 algebraic function임.참고로,Rational expression(유리식)은 polynomial expression(다항식)과 fractional expression(분수식)에 대한 generalization이라고 볼 수 있다.Numera..

1. Orthogonal이란어떤 두 개의 대상이 Othrogoanl (직교)하다는 의미는 (보통 대상은 function 또는 vector임)해당 두 대상의 inner product의 결과가 0이라는 의미이며, 두 대상이 각각에 대해 공유하는 component가 없음을 의미한다.가장 쉬운 예가 orthogonal vector로서 column vector의 경우 다음이 성립하면 orthogonal이라고 한다.$$\textbf{u}=\langle u_1, \dots, u_N \rangle \\ \textbf{v}=\langle v_1, \dots, v_N \rangle \\ \textbf{u}\cdot\textbf{v}=\textbf{u}^\top\textbf{v}= \sum_{i=1}^N u_i v_i = ..

System이란 하나의 신호를 다른 신호로 매핑(mapping) 또는 변형(transform)하는 규칙 function of functions, transformation of functions 일련의 신호(입력)를 특정한 목적에 맞도록 조작하고 처리(교환, 변환, 가공, 추출, 전송)해 다른 일련의 신호(출력)를 만드는 실체(장치) System Description에 필요한 요소들 input output (or response) 동작규칙 위의 3가지 요소에 의해 명확하게 기술됨. 주로 수학적 표현 (equation, 방정식)이 사용됨. System modeling도 System description과 유사 (modeling의 결과물이 system description으로 나오는 경우가 대다수) Syst..

logistic function과 함께 sigmoid의 대표적인 함수가 바로 $\text{tanh}$임.값이 $[-1,1]$의 range를 가지며, logistic에 비해 기울기가 보다 급격하기 때문에 좀 더 빠른 수렴속도를 보임.하지만, sigmoid의 일종이기 때문에 gradient vanishing에 자유롭지 못함.logistic보단 그래도 양호한 편이나sigmoid의 일종이기 때문에, 양 끝단에 갈 경우 기울기가 0에 수렴.RNN의 activation function으로 많이 이용된다.Exploding gradient가 쉽게 발생하는 RNN(Recurrent Neural Network)에서는 ReLU가 적합하지 않음.Weight matrix의 eigenvalue (특히, max eigenvalue..