ML 을 위해 Linear Algebra 공부시 참고할만한 책
전체적으로 공부를 한다면 다음을 권함.
- Linear Algebra and Its Application, 5th ed 이상, David C. Lay
- 5th ed. 는 웹에서 쉽게 pdf도 구할 수 있음.
- 개인적으로 Strang 교수님 교재보다 쉽게 읽혀짐.
- Practical Linear Algebra for Data Science,:From Core Concepts to Applications Using Python, Mike X Cohen. O'Reilly
다음은 1~2개 챕터로 간단히 정리하는 경우.
- 머신러닝을 위한 수학: 핵심 알고리즘 3가지로 배우는 최적화, 이병준, 2022, 한빛아카데미(주)
- 1장 행렬
- 데이터 과학을 위한 기초수학 with 파이썬, 이병준, 2021, 한빛아카데미(주)
- 6장 벡터와 공간, 7장 행렬
- 머신 러닝을 위한 수학 with 파이썬, R, 이원상, 2020, (주)도서출판길벗
- 2장 머신러닝을 위한 선형대수
Linear Algebra란?
2022.09.01 - [.../Math] - [LA] Introduction of Linear Algebra
[LA] Introduction of Linear Algebra
Linear Algebra란?Linear Algebra (선형대수)는 다음을 다루고 제공하는 분야임.vector, matrix, tensor 등을 사용하여, 대용량의 숫자로 이루어진 데이터를 효과적으로 계산 및 처리하는 방법을 다룸.기하학적
dsaint31.tistory.com
Vector 와 Matrix 기본
2022.03.28 - [.../Math] - [Math] Vector (1)
[Math] Vector (1)
Scalar오직 magnitude(크기)만을 가지는 물리량.숫자 하나.ndim=0, rank=0Vectormagnitude와 direction을 가지는 물리량.ordered list of numbers.ndim=1, rank=1로 vector가 표현됨. : vector는 다차원 vector space의 특정 point를
dsaint31.tistory.com
참고로, 물리학, 전자기학 등에서는 Vector Function을 자주 다루지만,
ML의 경우 codomain은 scalar인 Multi-variable Function이 보다 이용됨.
2022.03.28 - [.../Math] - [Math] Vector (2) : Vector Function
[Math] Vector (2) : Vector Function
Definition of Vector Function A vector function is simply a function whose codomain(공역) is $\mathbb{R}^n$. In other words, rather than taking on real values, it takes on vector values. We will often use the notation $\vec{v} = \vec{v}(t)$ to denote a v
dsaint31.tistory.com
간단한 이해도 체크: 2022.04.04 - [.../Physics] - Vector check
Vector check
Check NumPy Version import numpy as np np.__version__ 1. 다음에 언급된 Physical Quantity들이 scalar인지 vector인지 고르시오. $20 \text{m}^2$의 넓이 : scalar $10 N$의 힘 : vector 2. 다음 벡터의 L2-Norm(크기)을 구하시오 $\vec
dsaint31.tistory.com
2022.04.05 - [.../Math] - [Math] Definition of Vector Space and Sub-Space
[Math] Definition of Vector Space and Sub-Space
Vector 의 엄밀한(?) 정의는 Vector Space의 Element임.즉, Vector를 제대로 이해하려면 Vector Space에 대한 정의를 확실히 이해해야 한다.Vector Space의 정의.Vector Space는 아래를 만족하는 Non-Empty Set을 가르킴.Ve
dsaint31.tistory.com
2025.04.02 - [.../Linear Algebra] - [LA] Triangular Matrix and Diagonal Matrix
[LA] Triangular Matrix and Diagonal Matrix
1. 삼각행렬(Triangular Matrix)Triangular Matrix 는 다음 두 가지 유형으로 나뉨:1-1. 상삼각행렬(Upper Triangular Matrix):Main Diagonal(주대각선) 아래의 모든 원소가 0인 행렬수식으로: 모든 $i > j$ 에 대해 $a_{ij} =
dsaint31.tistory.com
2024.05.29 - [.../Linear Algebra] - [LA] Matrix-Vector Multiplication
[LA] Matrix-Vector Multiplication
Matrix-Vector MultiplicationLinear TransformMatrix와 vector의 곱은 일종의 Linear Transformation으로 볼 수 있음.곱해지는 Vector를 Matrix가 나타내는 Linear Transformation 처리하는 것으로 볼 수 있음.Matrix $A$ 와 vector $\ma
dsaint31.tistory.com
2024.10.28 - [.../Math] - [Math] Inner Product (or Hermitian Inner Product, 내적)
[Math] Inner Product (or Hermitian Inner Product, 내적)
Inner product (내적)은 vectoer space이나 function space에서 두 대상 간의 relationship(관계)를 나타내는 operation(연산). 다음의 세 가지 성질을 만족할 때 Inner Product라 부르며, 이를 통해두 벡터나 함수 간의s
dsaint31.tistory.com
https://gist.github.com/dsaint31x/619c68b90d3ead10820b8a4038b710c0
LA_01_basic.ipynb
LA_01_basic.ipynb. GitHub Gist: instantly share code, notes, and snippets.
gist.github.com
기하적 개념 (거리, 투영 등): ML 등에서 주로 사용되는 기본개념만
Instance based Learning이나 SVM의 유도 등에서 이용되는 개념.
2023.07.23 - [.../Math] - [ML] Cosine Similarity
[ML] Cosine Similarity
ML에서 주로 다루는 데이터는 바로 vector이다.(matrix도 vector들이 결합하여 이루어진 것이라고 생각할 수 있음.) Cosine Similarity는 두 vector가 얼마나 유사한지(similar)를 측정하기 위한 metric 중 하나로
dsaint31.tistory.com
2022.05.19 - [.../Math] - [Math] Orthogonal Projection (정사영)
[Math] Orthogonal Projection (정사영)
Projection $\textbf{x}_1$ onto $\textbf{w}$ (vector $\bf{x}$를 vector $\bf{w}$에 투영) 를 수식으로 표현하면 다음과 같음. $$\text{proj}_\textbf{w}\textbf{x}=\dfrac{\bf{x}\cdot\bf{w}}{\bf{w}\cdot\bf{w}}\bf{w}=\dfrac{\bf{x}\cdot\bf{w}}{\bf{w
dsaint31.tistory.com
2022.05.19 - [.../Math] - [Math] Plane Equation : 평면의 방정식
[Math] Plane Equation : 평면의 방정식
Plane EquationPlane Equation은 다음과 같음.$$\textbf{n}^\top\textbf{r}_\text{plane}+b_\text{bias}=0$$where$\textbf{n}$ : normal vector to a plane.$\textbf{r}_{\text{plane}}$ : plane에 속하는 점들의 position vector$b_{\text{bias}}$ : bias. (sca
dsaint31.tistory.com
2022.05.19 - [.../Math] - [Math] Distance between Point and Plane : 점과 직선의 거리
[Math] Distance between Point and Plane : 점과 직선의 거리
점과 직선의 거리Position Vector $\textbf{x}$ (아래 그림에서 Point $Q$에 대한 Position Vector)와$\textbf{n}\cdot \textbf{p}+b=0$을 만족하는 Position Vector $\textbf{p}$들로 구성되는 평면(Plane $P$)과의Distance(거리 , $d$)
dsaint31.tistory.com
Determinant and Inverse
2024.04.03 - [.../Linear Algebra] - [LA] Determinant (행렬식)
[LA] Determinant (행렬식)
Matrix는 일종의 Linear transform을 의미함.Linear transform을 의미하는 matrix 들 중에서,Square Matrix에서 구해지는 Determinant는 해당하는 Linear transform의 특성을 나타내는 scalar 임. square matrix가 의미하는 line
dsaint31.tistory.com
2025.01.25 - [.../Linear Algebra] - [LA] Inverse Matrix
[LA] Inverse Matrix
1. Inverse Matrix and Linear SystemLinear Algebra 의 가장 기본적인 응용은 Linear System (선형연립방정식)을 푸는 용도임.다음은 Linear System의 Matrix Equation임.$$A\mathbf{x}=\mathbf{b}$$ Inverse는 이 Linear System의 Solution
dsaint31.tistory.com
2025.01.25 - [.../Linear Algebra] - [LA] Intermediate Matrices for Inverting Square Full-Rank Matrix
[LA] Intermediate Matrices for Inverting Square Full-Rank Matrix
Square Full-Rank Matrix의 Inverse를 Cramer's rule에 기반하여 구하는 방식은 실제 inverse를 구하는 용도로는 많이 사용되지는 않는다.재귀적 방식인지라, 대상이 되는 Square Matrix의 크기가 커질 경우 매우
dsaint31.tistory.com
Markov Chain
강화학습에서 Environment를 모델링하는데 자주 이용됨.
특정 state에서 특정 action을 취할 때, 다음 state로의 변화는 Markov Property (현재의 state와 action 만이 다음 state 결정에 영향을 줌)에 기반하며, 이 경우의 전이확률을 transition matrix로 기술.
Markov Property란 현재 state와 action만으로 다음 상태의 확률 분포가 결정된다는 가정의 속성임.
이 가정은 transition matrix로 표현되며, 각 요소는 $P(s_{t+1}|s_t, a_t)$로 표현됨: (엄밀히 말하면 이는 MDP의 경우임)
Transition matrix는 환경의 동작(상태 전이 확률)을 나타내며, 이는 강화학습에서 중요한 환경 모델링 도구로 사용됨.
단, 강화학습 자체에서 반드시 명시적으로 모델링되는 건 아님.
- Model-Based RL: Transition Matrix 를 모델링하고 추정 및 업데이트가 이루어짐.
- Model Free RL: Transition Matrix 자체는 고정되어 있으나 명시적으로 모델링 하진 않음.
원래 Markov Chain은 state 간 transition(전이)를 다루는 수학적 개념인데
강화학습에서는 action이 추가된 Markov Decision Process(MDP) 를 통해 Markov Chain 개념을 확장하여 사용함.
따라서 “특정 action을 취할 때”라는 부분은 MDP 관점에서 이해해야 함.
2022.10.14 - [.../Math] - [LA] Markov Chain
[LA] Markov Chain
Markov Chain: 1907년 Markov가 제안한 확률모델. 강화학습과 베이지안 확률모델에서 많이 사용됨. Markov Chain은 Markov Property를 가지고 있는 Discrete-Time Stochastic Process (또는 Discrete-Time Random Process)를 의미
dsaint31.tistory.com
Eigenvalue 와 Eigenvector
데이터의 축과 해당 축의 중요도 등에 해당하여, 데이터를 분석하거나 주요 성분을 추출하는데 이용됨.
2024.11.06 - [.../Linear Algebra] - [LA] Eigenvalue and Eigenvector
[LA] Eigenvalue and Eigenvector
특정 행렬 $A$는 linear transform을 의미함: $A\mathbf{x}$는 vector $\mathbf{x}$를 linear transform하는 것에 해당. Square Matrix $A$의 eigenvector와 eigenvalue는 $A$를 standard matrix로 하는 linear transform의 고유한 특성을
dsaint31.tistory.com
2025.01.28 - [.../Linear Algebra] - [LA] 예제: Eigenvalue, Eigenvector 구하기 (기초)
[LA] 예제: Eigenvalue, Eigenvector 구하기 (기초)
문제다음 기본적인 행렬에 대한 eigenvalue와 eigenvector를 구하라.1)$$\begin{bmatrix}4 & 2 \\ 1 & 3 \end{bmatrix}$$더보기https://youtu.be/ZqbKRg7B8WU?si=UFOo7Q5RCoaqw6B7 2)$$\begin{bmatrix}2 & 1 \\ 4 & 2 \end{bmatrix}$$더보기https://
dsaint31.tistory.com
2022.12.01 - [.../Math] - [LA] 예제: Eigenvalue, Eigenvector 구하기
[LA] 예제: Eigenvalue, Eigenvector 구하기
출처Linear Algebra and Its Applications (5th ed.), David C. Lay, Pearson 2014Chapter 7.4 Example 1 문제$A=\begin{bmatrix}4 & 11 &14 \\ 8 & 7&-2\end{bmatrix}$를 standard matrix로 가지는 linear transformation $\textbf{x}\mapsto A\textbf{x}$에서 $
dsaint31.tistory.com
Decomposition (Factorization) : ED, SVD, LU, QR
Eigen-Decomposition (=Diagonalization)
[LA] Diagonalization (Eigen-Decomposition), Orthogonal Diagonalization, and Symmetric Matrix
Diagonalizable (대각화)Sqaure Matrix가 $n$개의 eigenvalue를 가지고 (multiplicity를 감안하여 중복 카운트. 0인 Eigenvalue도 카운트), 이들 각각의 eigenvalue들이 각자의 multiplicity에 해당하는 dimension을 가지는 eige
dsaint31.tistory.com
Singular Value Decomposition (SVD): Eigen-Decomposition의 제한을 해결한 일반화된 분해!
2024.02.15 - [.../Math] - [LA] Singular Value Decomposition (특이값분해, SVD)
[LA] Singular Value Decomposition (특이값분해, SVD)
Singular Value Decomposition$$A=U\Sigma V^\top$$Rank가 $n$인 matrix $A\in \mathbb{R}^{m\times n}\text{ where }m\ge n$ 에서orthonormal vector set$\{\textbf{v}_1, \dots, \textbf{v}_n\}, \{\textbf{u}_1, \dots \textbf{u}_n\}$ 와non-negative scalr set $\{\
dsaint31.tistory.com
LU Decomposition: Linear System을 푸는데 애용되는 Decomposition, Gaussian Elimination의 행렬곱 형태.
[LA] 예제: LU Factorization (or LU Decomposition) 와 Gauss Elimination
LU Factorization와 Gauss EliminationLU Factorization은행렬 $A$ 를 다음과 같이 두 행렬 $L$ (Lower Triangular Matrix)와 $U$ (Upper Triangular Matrix)로 분해하는 기법임:$$PA = LU$$여기서 $P$ 는 Permutation Matrix로, 피벗팅(pivoti
dsaint31.tistory.com
QR Decomposition: 정규직교화를 이용한 Decomposition.
2025.01.26 - [.../Linear Algebra] - [LA] Gram-Schmidt Process and QR Decomposition
[LA] Gram-Schmidt Process and QR Decomposition
Gram-Schmidt Process는 임의의 Subspace $W$에서 Orthogonal Basis를 찾는 과정임. 0. Pre-Requirements우선 다음을 기억하자Basis에 속하는 Vector들로 Span 하면, Subppace $W$ 내의 모든 Vector를 표현가능!Basis 에 속하는
dsaint31.tistory.com
Quadratic Form and Hessian: Convexity
최적화에서 가장 많이 다루는 이차식, 그 중에서도 convex에 대한 조건
2023.07.10 - [.../Math] - [Math] Second Order Condition : Convexity
[Math] Second Order Condition : Convexity
First order condition과 함께 convexity를 판정하는 조건. Second Order ConditionReal Vector Space $\mathbb{R}^n$에서 $f:\mathbb{R}^n \to \mathbb{R}$이 second derivative 를 구할 수 있다면,다음의 두 조건이 필요충분조건임.$f$
dsaint31.tistory.com
Multi-variable Scalar valued Function이 ML에서의 cost function이며, 이에 대한 2차미분은 Hessian으로 Matrix임.
Matrix의 부호(?)에 대한 판정 등에 관련된 기본 내용.
2025.01.24 - [.../Linear Algebra] - [LA] Quadratic Form and Positive/Negative Definite
[LA] Quadratic Form and Positive/Negative Definite
Quadratic Form : Scalar 에서 이차식 (Quadratic Expression) $a x^2$의 일반형. Definition of Quadratic Form$x\in \mathbb{R}^n$ 일 때, $\mathbb{R}^n$에서의 Quadratic Form (이차형식) 은 다음과 같음.$$\mathbf{x}^\top A \mathbf{x}$$where
dsaint31.tistory.com
2022.06.05 - [Programming/DIP] - [Math] Hessian: Summary
[Math] Hessian: Summary
이 문서는 Numerator Layout Convention 을 사용함.Hessian : Summary 2nd order derivative of multivariable function.여기서 multivariable function은 입력은 vector, 출력은 scalar 인 함수를 의미함: ML에서의 loss function을 생각
dsaint31.tistory.com
'... > Linear Algebra' 카테고리의 다른 글
| [LA] Intermediate Matrices for Inverting Full-Rank Matrix: Cramer's Rule (0) | 2025.01.25 |
|---|---|
| [LA] Quadratic Form and Positive/Negative Definite (0) | 2025.01.24 |
| [LA] Eigenvalue and Eigenvector (0) | 2024.11.06 |
| [LA] Spectral Theorem for Symmetric Matrix (2) | 2024.07.20 |
| [LA] Skew-Symmetric Matrix 란 (0) | 2024.07.16 |