Vector $\mathbf{x}$ 와 Matrix $A$가 주어졌을 때,$\mathbf{x}^\top A^\top A \mathbf{x}$의 minimum (or lower bound)를 구하는 방법에 대해Singular Value Decomposition(SVD)와 Eigenvalue Decomposition(EVD)을 이용하는 방법. $\underset{\mathbf{x}}{\text{argmin }}\mathbf{x}^\top A^\top A\mathbf{x}$는Total Least Squares 등에서 많이 애용되는 형태의 최소화 문제임.SVD를 이용한 lower bound 계산 방법SVD는 matrix을 세 개의 행렬로 분해하는 방법임.행렬 $A$의 SVD는 다음과 같이 표현됨:$$A = U ..

Span주어진 Vector들 (=Vector set)에 대한 Span은해당 vector들의 Linear Combination을모두 포함하고 있는 Vector Set을 의미한다.참고로, 위의 정의에서 Linear Combination을 Affine Combination으로 바꾸면, Affine Hull(or Affine Span)의 정의가 됨. https://youtu.be/2CcCOgDilO8?si=1SrMJa2O_SoniQ7b&t=211  참고자료2024.02.16 - [.../Linear Algebra] - [LA] linear combination [LA] linear combinationlinear equation 에서 variables가 scalars가 아닌 vectors로 바꾸어진 형태와 비슷..

Matrix-Vector MultiplicationLinear TransformMatrix와 vector의 곱은 일종의 Linear Transformation으로 볼 수 있음.곱해지는 Vector를 Matrix가 나타내는 Linear Transformation 처리하는 것으로 볼 수 있음.Matrix $A$ 와 vector $\mathbf{x}$ 의 곱 $\mathbf{y} = A\mathbf{x}$ 를 linear transform으로 직관적인 해석이 가능함.이는 matrix $A$를 vector 공간에서 다른 vector 공간으로의 변환으로 해석하는 것임.Matrix $A$:$A$는 $m \times n$ matrix로,$n$-차원 공간에서 $m$-차원 공간으로의 linear transform에 해당..

Transformation $\mathbb{R}^n$ (domain) 에서 $\mathbb{R}^m$ (codomain) 으로의 transformation (= function or mapping) $T$는 domain에 속하는 각각의 vector $\textbf{x}$를 codomain의 vector $T(\textbf{x})$에 대응시키는 규칙임. 이를 다음과 같이 표기함 $$T: \mathbb{R}^n \to \mathbb{R}^m$$ Transformation은 Function, System, Mapping, Model 등의 용어로 대체되거나 각각의 정의에 사용되는 경우가 많음. https://dsaint31.tistory.com/215 Function (함수) : 간략 정의 Function은 흔..

Matrix는 일종의 Linear transform을 의미함. Linear transform을 의미하는 matrix 들 중에서, Square Matrix에서 구해지는 Determinant는 해당하는 Linear transform의 특성을 나타내는 scalar 임. square matrix가 의미하는 linear transform은 차원이 증가할 수 없음을 기억할 것. Determinant의 의미 Determinant가 의미하는 것은 크게 다음의 3가지임. Scale (or Volumne) Change. Determinant의 magnitude는 univectore들에 의한 n-dimentional unit volume이 Linear transform에 의해 얼마나 확대 또는 축소되는지를 나타냄. 0이 될..

System of linear equations (연립방정식)의 solution를 구하는 가장 표준적인 방법. Gauss Elimination을 좀더 보강한 방법 (컴퓨터 없이 연립일차방정식 계산할 경우 가장 일반적으로 사용됨) System의 Augmented Matrix에 Elementary Row Operations을 적용하여 Row Reduction(=행소거, 또는 Elimination으로 볼 수 있음)을 수행. Row reduction에 의해 Augmented Matrix는 Row Echelon Form (REF)이 됨. (← forward phase종료) 이 REF를 backward phase를 수행하여 Reduced Row Echelon Form(RREF)으로 변경하여 solution을 구함...