Taylor Expansion어떤 function $f(x)$을 : 주로 Trascedent Function 임어떤 point $a$에서의 값과 derivative들을 이용하여polynomial(다항식) $p(x)$으로 approximation(근사)하는데 사용되는 것이바로 Taylor's Expansion이라고 함.복잡한 function 의 경우, 해당 function의 특성을 직접 고려하기 어려움.Taylor's Expansion을 이용하면 "특정 point 에서의 function value" 와 "derivative들"의 power series로 대체하여 처리할 수 있음.결과적으로 $x=a$ 에서 복잡한 함수 $f(x)$와 동일한 derivative를 가지는 polynomial 로 approxima..

S자형 곡선을 갖는 함수. (대표적인 예가 logistic function이나 sigmoid는 다음과 같이 여러 종류가 있음) Artificial Neural Network의 Artificial Neuron의 Activation function으로 초창기에 많이 사용되었음.Logistic distribution, normal distribution, student $t$ distribution등의 probability distribution(확률 분포)들의 cumulative distribution function (cdf)이 바로 sigmoid function임.때문에 sigmoid function에 대한 derivative는 normal distribution처럼 대칭이고 종모양의 분포를 보이는 함수..

$k$에 대한 다음의 함수를 sampling func.[$\text{Sa}(x)$]과 sinc func.[$\text{sinc}(x)$]의 형태로 표기하시오. $$ \frac{1}{\pi k}\sin\left(\frac{\pi k \tau}{T}\right) $$ $T$, $\tau$는 모두 상수임.

Pseudo-Inverse (Moore-Penrose Pseudoinverse)Moore-Penrose Pseudoinverse는 일반적인 행렬에서 정의되어 inverse matrix처럼 사용가능한 개념 으로,inverse가 full rank square matrix에만 정의되는 것과 달리,square matrix가 아니거나rank deficient matrix라 inverse가 존재하지않는 경우에도 구할 수 있음. Moore-Penrose Pseudoinverse는 주로 SVD를 이용하여 구해지며 다음과 같음:$$A^\dagger = V \Sigma^\dagger U^\top$$$A^\dagger$ 외에 $A^+$로도 자주 표기됨.inverse처럼 사용가능한 일종의 inverse approximatio..

well-posed matrix and well-conditioned matrix$A\textbf{x}=\textbf{b}$와 같은 Linear System (연립방정식)에서 system matrix $A$가 invertible하다면 해당 linear system(달리 말하면 연립방정식)이 well-posed라고 할 수 있다.하지만, 해당 matrix가 "일부 item의 약간의 변화" 또는 "$\text{b}$에서의 약간의 변화" 등에 solution이 지나치게 큰 변화를 보이는 "민감성"을 가질 수 있다.이같은 경우, linear system을 풀 때 적용한 수치해석적 방법의 한계 나 matrix를 만들 때 피할 수 없는 noise등 의 영향이 매우 커져 solution을 구할 수 없다. 이를 해결하는..

출처Linear Algebra and Its Applications (5th ed.), David C. Lay, Pearson 2014Chapter 7.4 Example 1 문제$A=\begin{bmatrix}4 & 11 &14 \\ 8 & 7&-2\end{bmatrix}$를 standard matrix로 가지는 linear transformation $\textbf{x}\mapsto A\textbf{x}$에서 $\|A\textbf{x}\|$를 최대화시키는 unit vector $\textbf{x}$를 구하고, 해당 unit vector가 매핑된 vector $A\textbf{x}$의 length를 구하라.풀이해당 문제는 다음의 Constrained Optimzaion 문제임.$$\underset{\te..