1. Inverse Matrix and Linear SystemLinear Algebra 의 가장 기본적인 응용은 Linear System (선형연립방정식)을 푸는 용도임.다음은 Linear System의 Matrix Equation임.$$A\mathbf{x}=\mathbf{b}$$ Inverse는 이 Linear System의 Solution $\mathbf{x}$를 어찌보면 가장 기본적으로 푸는 방법이라고 볼 수 있음: $$\begin{aligned} A\mathbf{x} &= \mathbf{b} \\ A^{-1}A\mathbf{x} &= A^{-1}\mathbf{b} \\ I \mathbf{x} &= A^{-1}\mathbf{b} \\ \mathbf{x} &= A^{-1}\mathbf{b} \end..

Square Full-Rank Matrix의 Inverse를 Cramer's rule에 기반하여 구하는 방식은 실제 inverse를 구하는 용도로는 많이 사용되지는 않는다.재귀적 방식인지라, 대상이 되는 Square Matrix의 크기가 커질 경우 매우 비효율적이기 때문임.단, $3\times 3$ 이하의 작은 크기이거나, Complex Number 로 인해 Row Reduction 등이 효과적이지 못한 경우에는 inverse를 구하는데 사용되기도 함.주요 용도는 Theoretical Tool로서 inverse를 다 구하지 않고도, $A\mathbf{x}=\mathbf{b}$에서 $\mathbf{b}$의 작은 변화가$\mathbf{x}$에 얼마나 영향을 주는지 등을 살피는 것임. 주요행렬이 방식에서 중간..

Quadratic Form : Scalar 에서 이차식 (Quadratic Expression) $a x^2$의 일반형. Definition of Quadratic Form$x\in \mathbb{R}^n$ 일 때, $\mathbb{R}^n$에서의 Quadratic Form (이차형식) 은 다음과 같음.$$\mathbf{x}^\top A \mathbf{x}$$where,$A$: Matrix of Quadratic Form. 이차항에서의 coefficient에 해당함.항상 Symmetric Matrix임.$n=1$인 경우, $a x^2$가 이차형식으로 scalar가 됨: $1 \times 1$.Hessian 의 부호: Concave, Convex$f(x)=a x^2$ 와 같은 이차식은 concave, co..

ML 을 위해 Linear Algebra 공부시 참고할만한 책더보기전체적으로 공부를 한다면 다음을 권함.Linear Algebra and Its Application, 5th ed 이상, David C. Lay5th ed. 는 웹에서 쉽게 pdf도 구할 수 있음.개인적으로 Strang 교수님 교재보다 쉽게 읽혀짐.Practical Linear Algebra for Data Science,:From Core Concepts to Applications Using Python, Mike X Cohen. O'Reilly다음은 1~2개 챕터로 간단히 정리하는 경우.머신러닝을 위한 수학: 핵심 알고리즘 3가지로 배우는 최적화, 이병준, 2022, 한빛아카데미(주)1장 행렬 데이터 과학을 위한 기초수학 with 파..

Laplace 분포(Laplace Distribution) 소개Laplace 분포(Laplace Distribution)는 다음과 같은 특징을 가지는 연속확률분포임.sharp한 peak(정점)(Normal Distribution에 비해 더) 두꺼운 꼬리(heavy tails)를 가짐.double exponential distribution 이라고도 불림.이 분포는 Pierre-Simon Laplace의 이름을 따서 명명되었으며, 통계학, 금융, 신호 처리(signal processing), 기계 학습(machine learning) 등 다양한 분야에서 사용됨.확률 밀도 함수(Probability Density Function, PDF)Laplace 분포의 PDF는 다음과 같이 정의됨:$$f(x | \mu..

다음은 Scalar-Valued Function에 기반.증가/감소Function 의 증가/감소 는 1st derivative 으로 판정 가능.$\frac{df(a)}{dx} > 0 $ 이면, $f(x)$는 $x=a$ 에서 증가 상태임.$\frac{df(a)}{dx} 미분가능한 함수에서 극값(극대/극소)의 조건.$x=a$가 extremum point에서 $f(x)$가 extremum value 이려면$\frac{df(a)}{dx} =0$ 이 성립multi-variable function 인 경우, gradient가 0.2023.07.10 - [.../Math] - [Math] Stationary point (or Critical point) [Math] Stationary point (or Critical..