System 이란? System은 하나의 신호를 다른 신호로 매핑(mapping) 또는 변형(transform)하는 규칙 System 표현 (기술, representation) 이를 기술하는 가장 좋은 방법은 다음 두가지임. impulse response (h) 를 이용한 표현 impulse response (h) 가 주어질 경우, convolution을 이용하여 (zero-state) output signal을 구할 수 있음. 외부 입력(=impulse)에 대한 system response 제공(=zero-state response). 입력이 인가되기 전의 system 내부 상태에 의한 system response(=zero-input response)는 알 수 없음. differential equat..

Derivative (도함수) of Logistic Function (Sigmoid라고도 불림) $y=\sigma(x)=\dfrac{1}{1+e^{-x}}$ 를 미분하면 다음과 같음. $$\frac{d}{dx}\sigma(x)= \sigma(x)(1-\sigma(x))$$ graph 유도 유도는 다음과 같음. $$\begin{aligned}\frac{d}{dx}\sigma(x)&= \dfrac{0\times(1+e^{-1}) - 1\times(-e^{-1})}{(1+e^{-x})^2}\\&=\dfrac{e^{-x}}{(1+e^{-x})^2}\\ &= \frac{1}{(1+e^{-x})}\frac{e^{-x}}{(1+e^{-x})}\\ &= \frac{1}{(1+e^{-x})}\left( 1-\dfrac{..

다음과 같은 integral expression으로 정의되는 Transcendental Function의 하나임. $$\text{erf}(x)=\dfrac{2}{\sqrt{\pi}}\int^x_0 e^{-\tau^2}d \tau$$ $\text{erf}(x)$는 standard normal distribution의 cumulative distribution function과 동일함. 정확히는 Gauss function의 적분은 $\text{erf}(x)$의 상수배(1/2 배)임. ML 등의 분야의 GeLU activation function 유도에서 사용된다. https://dsaint31.me/mkdocs_site/ML/ch09/act_silu/#gaussian-error-linear-unit-gelu..

System의 impulse response는 다음을 의미한다.System의 input이 impluse signal인 경우의output을 해당 system의 impulse response라고 한다.LTI system에서 출력(정확히는 zero-state response)은 impulse response와 input signal의 convolution으로 표현 가능.LTI System에서의 Impulse response의 의미.LTI System의 impulse response를 파악했다면 다음이 성립함.System의 동작을 이해함. (정확히는 initial condition이 0인 경우의)System의 output 생성 메카니즘을 알 수 있음.임의의 input signal과 impulse response..

Complex Exponential Signals신호처리에서 주파수 성분을 분석하고 이를 나타내는데 핵심적인 역할을 함.(Fourier Transform에서 Basis function으로 사용됨) $$Ae^{z}=Ae^{s}=Ae^{\sigma + j \omega t} = Ae^{\sigma}e^{j\omega t} = A e^\sigma (\cos \omega t +j \sin \omega t)$$Continuous-time Sinusoidal Signal주기신호 Continuous-time sinusoidal signal은특정 angulary frequency $\omega$와phase $\phi$, 그리고amplitude $A$로 정의된다.$$ A\sin (\omega t+\phi) \\ A\cos..

다음과 같은 주기신호 $x_1(t)$와 $x_2(t)$가 있다고 하자. $$x_1(t) = x_1(t + kT_1) \\ x_2(t) = x_2(t + lT_2)$$ $k, l$은 임의의 integer (정수) $T_1$은 $x_1(t)$의 주기. $T_2$은 $x_2(t)$의 주기. 이 두 주기신호를 합치면 다음과 같음. $$x_3(t) = x_1(t)+x_2(t)=x_1(t + kT_1) + x_2(t + lT_2)$$ $x_3(t)$가 $T$마다 반복되는 주기신호가 되기 위해서는 다음이 성립해야함. $$T=kT_1 = lT_2 \rightarrow \frac{T_1}{T_2} = \frac{l}{k}$$ 이는 더해지는 신호들의 주기들의 비(ratio)가 rational number가 되어야 함을 의..