...

[Math] Matrix Calculus : Numerator Layout

원본 : [Matrix Calculus](https://souryadey.github.io/teaching/material/Matrix_Calculus.pdf) 가급적 원본을 꼭 보길 권함. 1. Notation Scalar는 lower case letter로 표기. Vector는 lower case bold letter로 표기한다. row vector (dimensions $1 \times n$)이거나 column vector (dimensions $m \times 1$) 두가지가 있으나 기본적으로 column vector를 사용한다. Vector의 각각의 element는 subscript로 인덱스된 lower case letter(←scalar) $x_i$로 표기한다. Matrix는 upper cas..

[Math] Jacobian : Summary

이 문서는 Numerator Layout Convention을 따름. Jacobian은 vector field (or multi-variate vector-valued function)에 대한 1st order derivative에 해당함. 정의 input과 output이 vector인 vector function(←vector field, $\textbf{f}:\mathbb{R}^n\to\mathbb{R}^m$)을 input vector로 미분! → Jacobian matrix ($m \times n$ matrix) : row는 output, column은 input에 해당(column vector사용시) Take $\textbf{f}: \mathbb{R}^n \rightarrow \mathbb{R}^..

[Math] Commonly used Vector derivatives.

많이 사용되는 vector 도함수들을 정리함. Numeartor Layout 과 Denominator Layout을 구분하여 살펴야 함. $$f(\textbf{x})$$ $$\frac{\partial f(\textbf{x})}{\partial \textbf{x}}$$ Convention $$f(x)$$ $$\frac{df(x)}{dx}$$ $$\textbf{x}^T \textbf{b}$$ $$\textbf{b}^T$$ Numerator Layout $$bx$$ $$b$$ $$\textbf{b}^T \textbf{x}$$ $$\textbf{b}^T$$ Numerator Layout $$bx$$ $$b$$ $\textbf{b}\cdot \textbf{x}$ or $\textbf{x}\cdot \textbf{..

[Statistics] Covariance vs. Correlation

Covariance vs. CorrelationCovariance (공분산)"Covariance" is the raw version of correlation.두 random variable(확률변수)가 얼마나 (선형적으로) 같이 변하는 정도를 나타냄.여러 random variables 에서는 matrix로 기재됨(covariance matrix, $\Sigma$).main diagonal은 자기자신과의 covariance, 즉 해당 확률변수 하나에 대한 variance임.matrix로 보여지는 경우엔 여러 random variable들이 있고 이들 중에 나올 수 있는 쌍에서의 covariance를 보여줌.항상 symmetric matrix 임. (every symmetric matrix is ortho..

[Statistics] Sample Point Method

확률을 구하기위한 가장 기본적인 방법. Random experiment (or Random trial)에 따른 Sample space $S$를 정의. Sample space의 각 element (=sample point)들에 대한 probability(확률값)을 할당. 확률을 알고자 하는 event ( The subset of sample space)에 속하는 element를 정의. 확률을 알고자 하는 element에 속하는 모든 element (=sample point)들의 probability를 더해서 해당 event의 확률을 구함. 예제: 모양과 색깔이 같은 감기약 두 알과 두통약 두 알이 한 병에 있을 때, A, B 두사람이 한 알씩 꺼낼 경우, A가 감기약을 B가 두통약을 꺼낼 확률은? 풀이: ..

Closed-form solution and Closed-form expression

Closed-form solution 💡 Solution(해)이 closed-form expression으로 주어진 것을 가르킴. 다음의 문장들 은 위와 같은 뜻. 방정식(equation)을 analytic method로 solution을 구할 수 있다. equation의 solution이 closed-form solution으로 표현된다 equation의 solution을 analytic하게 표현할 수 있다. equation에 analytic solution이 존재. 일반적으로 어떤 방정식(equation)에 대한 solution을 구할 때, 해당 solution이 closed-form expression으로 구해질 때, close-form solution을 가진다고 말한다. 대표적인 예가 quadra..