출처Linear Algebra and Its Applications (5th ed.), David C. Lay, Pearson 2014Chapter 7.4 Example 1 문제$A=\begin{bmatrix}4 & 11 &14 \\ 8 & 7&-2\end{bmatrix}$를 standard matrix로 가지는 linear transformation $\textbf{x}\mapsto A\textbf{x}$에서 $\|A\textbf{x}\|$를 최대화시키는 unit vector $\textbf{x}$를 구하고, 해당 unit vector가 매핑된 vector $A\textbf{x}$의 length를 구하라.풀이해당 문제는 다음의 Constrained Optimzaion 문제임.$$\underset{\te..

Orthogonal MatrixMatrix의 row vector (and column vector)들이자기자신을 제외한 나머지 row vector (and column vector)들과 orthonormal인 square matrix.$$A^{-1}=A^\top \\ A^\top A = I \\ \mathbf{a}_i^\top \mathbf{a}_j = \mathbf{a}_i \cdot \mathbf{a}_j = 0, \quad \text{ where } i\ne j \\ \mathbf{a}_i^\top \mathbf{a}_j = \mathbf{a}_i \cdot \mathbf{a}_j = 1, \quad \text{ where } i = j$$엄격히 애기해서 orthogonal matrix는 $A^{-..

Normal Matrix란?Matrix $A \in M_n (C)$에 대해 (◀ Matrix가 Complex Number를 가질 수 있으며, $n\times n$ Square Matrix임), 다음을 만족하면 $A$를 Normal Matrix (정규행렬)이라고 부름.$$A{A^*}^\top(=AA^H)={A^*}^\top A(=A^H A)$$where$A^\top$ : Transpose of $A$ (전치)$A^H$ : $A$의 각 entity에 complex conjugate 를 취하고 Transpose한 것. Herimitian Adjoint 라고도 부름.$A^*$ : $A$의 각 entity에 complex conjugate 취한 행렬. Normal matrix의 가장 큰 특징 중 하나는 항상 Di..

Diagonalizable (대각화)Sqaure Matrix가 $n$개의 eigenvalue를 가지고 (multiplicity를 감안하여 중복 카운트. 0인 Eigenvalue도 카운트), 이들 각각의 eigenvalue들이 각자의 multiplicity에 해당하는 dimension을 가지는 eigenspace를 가지고 있는 경우 가능.각기 다른 eigenvalue의 Eigen Space들은 서로 linearly independent함 (orthogonal까지 보장하는 건 아님!). eigenvalue가 자신의 multiplicity(중복도)에 해당하는 dimension의 eigen space를 가진다면, $n\times n$ square matrix는 $n$개의 linearly independent한 ..

1. Multi-Variable vs Multi-Variate (in Regression)Regression에서 많이 사용되는 경우이며, 위의 용어에서 Variable은 독립변수에 해당하며, Variate는 종속변수에 해당함. variable (변수) : 독립변수에 해당.univariable : independent variable이 scalar.multi-variable : independent variable이 vector.하지만 Multiple Regression이라고 불림. 즉, 독립변수가 여러 개 (=vector가 독립변수)인 경우, Multiple Regression이라고 불림. variate (변량) : 종속변수에 해당univariate : dependent variable이 scalar. ..

Markov Chain: 1907년 Markov가 제안한 확률모델. 강화학습과 베이지안 확률모델에서 많이 사용됨. Markov Chain은 Markov Property를 가지고 있는 Discrete-Time Stochastic Process (또는 Discrete-Time Random Process)를 의미함.달리 애기하면, 다양한 Random Experiment들의 Trial들에 대한 확률 모델로 "현재의 state만 고려하여 다음 state가 확률적으로 결정되는 Discrete-Time Stochastic Process"임. 주로많은 수의 trial이 이루어지는 먼 미래의 state를 예측 (초기상태에 상관없는)하거나순차적으로 발생하는 확률변수에 대한 값을 예측할 때 이용됨.2022.10.14 - [..