...

[SS] System 이란?

System이란 하나의 신호를 다른 신호로 매핑(mapping) 또는 변형(transform)하는 규칙 function of functions, transformation of functions 일련의 신호(입력)를 특정한 목적에 맞도록 조작하고 처리(교환, 변환, 가공, 추출, 전송)해 다른 일련의 신호(출력)를 만드는 실체(장치) System Description에 필요한 요소들 input output (or response) 동작규칙 위의 3가지 요소에 의해 명확하게 기술됨. 주로 수학적 표현 (equation, 방정식)이 사용됨. System modeling도 System description과 유사 (modeling의 결과물이 system description으로 나오는 경우가 대다수) Syst..

[SS] Properties of Impulse Function

Impulse function (or Dirac delta function)은 이상적으로, 오직 한 점에서만 무한대의 값을 가지고,나머지에서는 0의 값을 가지며,적분시 면적인 1이 되는 함수다른 function을 분석하거나, system의 response를 측정할 때, Basis Function으로 사용됨.어떤 continuous function도 impulse function의 weighted sum으로 표현됨.Derivative (도함수) of Unit Step FunctionImpulse function은 unit step function의 derivative(도함수)라고 볼 수 있음. 유도.impulse function을 적분하면 다음이 성립함.$$\int^t_{\tau=-\infty} \delt..

[Math] Bernoulli Distribution (베르누이 분포)

Bernoulli distribution (베르누이 분포)은 Probability Distribution에서 가장 단순한 분포 중 하나 임. 주로 binary classification task에서 많이 사용됨. Bernoulli Trial 결과가 2가지 중 하나로만 나오는 trial(시행, 시도, 실험)을 가르킴. 대표적인 예로 동전 던지기(Head or Tail)가 Bernoulli trial에 해당. Bernoulli Random Variable Bernoulli trial의 결과를 숫자 0,1 (또는 -1, 1)로 할당한 random variable(확률변수). discrete random variable 로 2개의 값 중 하나만 가질 수 있는 특징을 가짐. Bernoulli Distributio..

[DL] Softsign : tanh의 유사품

hyperbolic tangent (=tanh)와 유사한 함수. tanh 대신 activation function으로 사용되는 경우도 있음. $$\text{softsign}(x)=\frac{x}{1+|x|}$$ softsign의 derivative는 다음과 같음. $$\dfrac{d}{dx}\text{softsign}(x)=\dfrac{1}{\left(1+|x|\right)^2}$$ 차트 비교 관련소스 import numpy as np import matplotlib.pyplot as plt x = np.linspace(-20.,20., 100) softsign = x/ (1.+np.abs(x)) logistic = 1/ (1+np.exp(-x)) tanh = np.tanh(x) fig,ax = plt...

[Math] Random Variable의 연산에 따른 Mean과 Variance.

Mean (or Estimated Value) Random Variable의 mean (여기선 arithmetic mean을 의미)은 linear equation으로 얻어짐. 때문에 다음과 같이 Random variable $X$와 $Y$, constant $a$와 $b$에 대해 linearity가 성립함. $E[a] =a$ $E[aX]=aE[X]$ $E[aX+b]=aE[X]+b$ $E[X+Y]=E[X]+E[Y]$ $E[aX+bY]=aE[X]+bE[Y]$ Random vairable간의 곱에서의 mean은 다음과 같이 구해짐. $E[XY]=\sum \sum xy P(X=x, Y=y)$ 결합확률분포에 대한 연산으로 두 random variable간의 correlation등의 고려등으로 계산이 복잡함. 만약..

[Math] log의 base 변환하기.

$$ \log_a b=x,\log_c a = y $$ 라고 할 경우 다음이 성립 $$ a^x=b, c^y=a \Rightarrow b=a^x=c^{yx} $$ log의 정의를 이용하면 다음이 유도됨. $$ b=c^{yx} \Rightarrow xy=\log_cb $$ $x=\log_a b, y=\log_c a$ 를 위 식의 left side에 대입하면 다음이 성립 $$ \log_a b \log_c a=\log_c b\\log_a b=\frac{\log_c b}{\log_c a} $$ 부가적으로 $c=b$인 경우엔 $$ \log_a b=\frac{\log_b b}{\log_b a}=\frac{1}{\log_b a} $$