linear algebra

[LA] Linearly Independent and Affine Independent: Summary

선형 독립(Linear Independence):대상: vector set정의특정 vector set에 속한 vector 각각이 해당 vector set의 다른 vectors의 liner combination으로 (정확히) 표현될 수 없는 경우,해당 vector set을 linearly independent 라고 함.해당 vector set의 모든 vector들은 각각 자기 외의 다른 vectors로부터 파생될 수 없음.Linearly independent란해당 vector set의 모든 vector들이 서로에 대해 독립적으로 다른 vector들이 가지고 있지 않은 방향에 대한 정보를 가지고 있음을 의미.2024.02.16 - [.../Math] - [LA] Linear Independence [LA] ..

[LA] 예제 : Eigen value, Eigen vector 구하기

Linear Algebra and Its Applications (5th ed.), David C. Lay, Pearson 2014 Chapter 7.4 Example 1 $A=\begin{bmatrix}4 & 11 &14 \\ 8 & 7&-2\end{bmatrix}$를 standard matrix로 가지는 linear transformatino $\textbf{x}\mapsto A\textbf{x}$에서 $\|A\textbf{x}\|$를 최대화시키는 unit vector $\textbf{x}$를 구하고, 해당 unit vector가 매핑된 vector $A\textbf{x}$의 length를 구하라. 해당 문제는 다음의 constrained optimzaion 문제임. $$\underset{\textb..

[LA] Orthogonal matrix (직교행렬)

Orthogonal MatrixMatrix의 row vector (and column vector)들이자기자신을 제외한 나머지 row vector (and column vector)들과 orthonormal인 square matrix.$$A^{-1}=A^T \\ A^TA = I \\ \mathbf{a}_i^T \mathbf{a}_j = \mathbf{a}_i \cdot \mathbf{a}_j = 0, \quad \text{ where } i\ne j \\ \mathbf{a}_i^T \mathbf{a}_j = \mathbf{a}_i \cdot \mathbf{a}_j = 0, \quad \text{ where } i = j$$엄격히 애기해서 orthogonal matrix는 $A^{-1}=A^T$인 경우로 ..

[LA] Normal Matrix (정규행렬)

Matrix $A \in M_n (C)$에 대해 (← matrix가 complex number를 가질 수 있으며, $n\times n$ square matrix임), 다음을 만족하면 $A$를 normal matrix (정규행렬)이라고 부름. $$A\bar{A}^T(=AA^*)=\bar{A}^TA(=AA^*)$$ where $A^T$ : transpose of $A$ (전치) $A^*$ : $A$의 각 entity에 complex cojugate 를 취하고 Transpose한 것 $A^H$로 표기되기도 함. $\bar{A}$ : $A$의 각 entity에 complex cojugate 취한 행렬. Normal matrix의 가장 큰 특징 중 하나는 항상 diagonlizable이라는 점임. Symmetri..

[LA] Diagonalization, Orthogonal Diagonalization, and Symmetric Matrix

Diagonalizable (대각화)sqaure matrix가 $n$개의 eigenvalue를 가지고, 이들 각각의 eigenvalue들이 각자의 multiplicity에 해당하는 dimension을 가지는 eigne space를 가지고 있는 경우에 해당.각기 다른 eigenvalue의 eigen space들은 서로 linearly independet함 (orthogonal까지 보장하는 건 아님!). eigenvalue가 자신의 multiplicity(중복도)에 해당하는 dimension의 eigen space를 가진다면, $n\times n$ square matrix는 $n$개의 linearly independent한 eigenvector를 가짐.이는 다음을 만족하는 invertible한 matrix ..

[Math] Multi-variable vs. Multi-variate and Multiple Regression

1. Multi-variable vs Multi-variate (in Regression) Regression에서 많이 사용되는 경우이며, 위의 용어에서 variable은 독립변수에 해당하며, variate는 종속변수에 해당함. variable (변수) : 독립변수에 해당. univariable : independent variable이 scalar. multi-variable : independent variable이 vector. 하지만 Multiple Regression이라고 불림. 즉, 독립변수가 여러 개 (=vector가 독립변수)인 경우, Multiple Regression이라고 불림. variate (변량) : 종속변수에 해당 univariate : dependent variable이 sca..

[LA] sympy로 Reduced Row Echelon Matrix 구하기.

David C. Lay의 Linear Algebra에서 1.2장의 Example 3에 sympy적용. RREF는 unique하기 때문에 sympy에서 지원함. import numpy as np import sympy as sp # ---------------------------------- # colab에서 sympy의 값을 latex 지원하여 출력하기 위해 정의 def custom_latex_printer(exp, **options): from google.colab.output._publish import javascript url = "https://cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.3/latest.js?config=default" javascript(u..

[LA] tf.linalg.solve 로 linear system 의 solution 구하기.

David C. Lay의 Linear Algebra의 1장의 예제를 tensorflow로 확인. colab으로 간단히 확인 가능함. import tensorflow as tf import numpy as np A = np.array([ [1 ,-2, 1], [0 , 2,-8], [-4, 5, 9] ], dtype=float) cmtx = tf.constant(A) b = np.array([0,8,-9],dtype=float) # tf.constant 를 이용. (1) # b = b.reshape(-1,1) # bvec = tf.constant(b) # tf.constant 를 이용. (2) bvec = tf.constant(b, shape=(3,1)) # tf.Varialbe을 이용. # b = b.re..

[LA] Data Types (or The Types of Variable)

Scalar : 숫자 하나로 구성. (일반적으로 real number) Vector : the ordered list of numbers. (개념적인 정의. 다르게는 한 sample data의 record에 해당한다고 볼 수 있음.) Matrix : the collection of vectors. (주로 column vector들이 모인 형태로 이용됨.) Tensor : the collection of matrices. (같은 크기의 행렬들이 모인 것으로 여기면 됨.) 위의 정의는 수학적으로 정확한 정의는 아니지만, ML( including DL)에서 이용되는 LA을 이해하기 위해선 충분한 정의임. Tensor는 원래 mapping represented by a multi-dimensional matri..

[LA] Introduction of Linear Algebra

linear algebra는 다음을 다루고 제공하는 분야임. ** vector, matrix, tensor** 등을 사용하여, 대용량의 숫자로 이루어진 데이터를 효과적으로 계산 및 처리하는 방법을 다룸. 기하학적으로 이해가능한 1~3차원”에서 출발하여 “딥러닝과 같은 기계학습에서 이용하는 고차원 벡터 공간“에서의 대용량 데이터 분석을 위한 이론적 그리고 수학적 기반을 제공. Linear Algebra 관련해서 원서의 용어(terminology)에 대한 정확한 개념을 가지고 있는 것이 기계학습이나 AI 분야의 응용기술을 이해하는데 필요함. 컴퓨터의 발달로 점점 linear algebra에서 실제 손으로 하는 계산 보다는 개념이 중요해지고 있으며, 사람은 가장 효율적인 계산법을 고르고, 적절한 입력 데이터를..