function

[Math] Intermediate Value Theorem, Mean Value Theorem and Rolle’s Theorem

중간값의 정리(Intermediate Value Theorem, IVT) 와 평균값의 정리(Mean Value Theorem, MVT) 는 미적분학에서 중요한 정리들이며, 서로 유사하게 보이지만 다른 정리임. 중간값의 정리 (Intermediate Value Theorem, IVT) 중간값의 정리는 function의 continuity (연속성)에 대한 Theorem. function $f(x)$가 $[a,b]$에서 continuous이고 $f(a) \ne f(b)$이면, $f(a)$와 $f(b)$ 사이의 어떤 값 $m$에 대해 $f(c)=m$인 $c$가 $(a,b)$에서 적어도 하나 이상 존재. 평균값의 정리 (Mean Value Theorem, MVT) 평균값의 정리는 differtiable func..

[Math] Inverse Function: Inverse vs. Reciprocal

수학 용어에서 "reciprocal"과 "inverse"는 다른 뜻을 가지므로 주의해서 사용해야 함. inverse는 역원 이고 identity는 항등원 임.reciprocal은 역수로 특정 숫자와 그에 대한 reciprocal을 곱하면 1이 나옴Inverse vs. Reciprocal: 쉽게 살펴본 역함수"reciprocal"은 "역수"로 특정 수나 expression에 대해 역수를 취하는 것을 의미함. cosecant 함수가 sin함수의 reciprocal이라고 할 수 있음.$$ x \leftrightarrow \frac{1}{x}$$ 하지만, "inverse"는 "역함수"로서 "inverse function"이라고 풀어 쓸 수 있고,function의 효과를 뒤집는 function을 의미한다.$$y=..

[Math] Trigonometric Functions

Trigonometric functions 는 angle의 크기에 따라 변하는 functions로 삼각형의 변들 사이의 ratio 를 나타냄. Transcendental functions 의 대표적인 예임. sin과 cos은 주기신호나 wave등을 나타내는데 사용되는 기본적인 함수. 때문에 Fourier Transform과 같이 주파수 관련 처리나, positional encoding등에서 많이 사용됨. 2022.04.19 - [.../Physics] - [Physics] A periodic representation of wave : sin and cos [Physics] A periodic representation of wave : sin and cos $\sin$(정현), $\cos$(여현) : ..

[Math] Relation

다음은 Relation에 대한 간단한 정의임. A relation (or, more precisely, a binary relation) on a set $A$ is a collection of ordered pairs of elements from $A$. 이를 Cartesian Product를 통해 설명하면, $A$로부터 $B$의 (binary) relation $R$은 $A \times B$의 subset 으로, $$a\in A, b \in B \\ (a,b)\in R$$ 이 성립하며, $_aR_b$ 로 표기한다. 이는 $a$와 $b$는 $R$의 관계가 있음을 나타내며 다음과 같이 표기하기도 한다. $$R: A\rightarrow B$$ $\neg _a R_a$ 라고 기재하면 "$a$는 $a$와 $..

[Math] Transcendental Function (초월함수)

A transcendental function is an analytic function that does not satisfy a polynomial equation, in contrast to an algebraic function. (The polynomials sometimes must have rational coefficients.) 쉽게 말해서 algebraic function을 제외한 Analytic functions가 transcendental function임. In other words, a transcendental function "transcends" algebra in that it cannot be expressed in terms of a finite sequence of ..

[Math] Algebraic Function (대수함수)

An algebraic function is a function that can be defined as the root of a polynomial equation. 다항식 방정식의 근(or solutoin,해)으로 정의(표현)될 수 있는 function. Quite often algebraic functions are algebraic expressions using a finite number of terms (항), involving only the algebraic operations addition, subtraction, multiplication, division, and raising to a fractional power (거듭제곱을 확장한 것). 위의 정의는 정확하지만, 좀 와닿지 않..

[Math] Rational function and irrational function

Rational function (유리함수) 함수 $f(x)$가 $x$에 대한 rational expression(유리식)일 때, $y=f(x)$를 rational function이라 함. 아래와 같은 형태의 function. $$ f(x)=\dfrac{N(x)}{D(x)} $$ 분수에서 분모가 0이 되어선 안 되므로, domain의 범위를 항상 주의해야함. 분모가 0인 경우, rational func.의 값은 정의될 수 없음. rational function은 algebraic function임. 참고로, Rational expression(유리식)은 polynomial expression(다항식)과 fractional expression(분수식)에 대한 generalization이라고 볼 수 있다. ..

[SS] Orthogonal function : inner product가 0

Orthogonal이란 어떤 두개의 대상이 Othrogoanl (직교)하다는 의미는 해당 두 대상의 inner product의 결과가 0이라는 의미이며, 두 대상이 각각에 대해 공유하는 component가 없음을 의미한다. 가장 쉬운 예가 orthogonal vector로서 column vector의 경우 다음이 성립하면 orthogonal이라고 한다. $$\textbf{u}=\langle u_1, \dots, u_N \rangle \\ \textbf{v}=\langle v_1, \dots, v_N \rangle \\ \textbf{u}\cdot\textbf{v}=\textbf{u}^T\textbf{v}= \sum_{i=1}^N u_i v_i = 0$$ $N$ : $\textbf{u}$와 $\textbf..

[SS] System 이란?

System이란 하나의 신호를 다른 신호로 매핑(mapping) 또는 변형(transform)하는 규칙 function of functions, transformation of functions 일련의 신호(입력)를 특정한 목적에 맞도록 조작하고 처리(교환, 변환, 가공, 추출, 전송)해 다른 일련의 신호(출력)를 만드는 실체(장치) System Description에 필요한 요소들 input output (or response) 동작규칙 위의 3가지 요소에 의해 명확하게 기술됨. 주로 수학적 표현 (equation, 방정식)이 사용됨. System modeling도 System description과 유사 (modeling의 결과물이 system description으로 나오는 경우가 대다수) Syst..

[DL] Hyperbolic Tangent Function (tanh)

logistic function과 함께 sigmoid의 대표적인 함수가 바로 $\text{tanh}$임. 값이 $[-1,1]$의 range를 가지며, logistic에 비해 기울기가 보다 급격하기 때문에 좀 더 빠른 수렴속도를 보임. 하지만, sigmoid의 일종이기 때문에 gradient vanishing에 자유롭지 못함. logistic보단 그래도 양호. 양 끝단에 갈 경우, 거의 기울기가 0임 RNN의 activation function으로 많이 이용된다. Exploding gradient가 쉽게 발생하는 RNN에서는 ReLU가 적합하지 않음. ReLU는 positive영역에서 기울기가 1로 계속해서 고정되면서, 결과값이 항상 0이상의 값으로 나오기 때문에 , 지나치게 gradient가 커지는 ex..