[LA] Linear Independence (Linearly Indendent)

Ref. : Linear Algebra and its applications, 5th ed., David C. Lay, Chapter 1.

---

Linear Independence

An indexed set of vectors $\left\{ \textbf{v}_1, \textbf{v}_2, \cdots,\textbf{v}_p \right\}$ in $\mathbb{R}^n$ is said to be linearly independent if the vector equation

$$
x_1 \textbf{v}_1+x_2 \textbf{v}_2+ \cdots +x_p \textbf{v}_p = \textbf{0} \tag{1}
$$

has only the trivial solution (=only zero vector can be $\textbf{x}$).

That is, the set $\left\{\textbf{v}_1, \textbf{v}_2, \cdots,\textbf{v}_p \right\}$ is said to be linearly dependent if there exist weights $c_1,\cdots,c_p$, not all zero, such that

$$
c_1\textbf{v}_1 +c_2\textbf{v}_2 +\cdots+c_p\textbf{v}_p = \textbf{0} \tag{2}
$$

$\blacksquare$

 

쉽게 말해서 vector들로 구성된 set이 있는데,

• 해당 set에 속하는 모든 vector들이 자기 자신을 제외한 다른 vector들의 linear combination으로 만들어지지 않늘 경우,
• linearly independent하다고 할 수 있음.

위를 성립하려면 정의에 있는 식(1)의 vector equation이 오직 trivial solution을 가지게 됨.

 

$A\mathbf{x}=\mathbf{0}$에서 column vector들의 linear independent는 결국 nullity=0이 성립해야함

• basis는 zero vector가 될 수 없는점 기억할 것.

 

조금 풀어서 애기한다면,

linearly independent란, 구성하고 있는 모든 vector들이 자신만의 고유한 성분을 가지고 있다는 애기가 된다.

• 반대로 다른 vector들의 linear combination으로 만들어질 수 있다는 건
• 해당 vector가 자신만의 고유한 성분이 없으며 다른 vector들의 lineaer combination으로 대체가능함을 의미한다.

예를 든다면, 우리가 3차원 공간$\mathbb{R}^3$을 나타내려면, linearly independent한 vector가 3개 있어야 한다.

• 이에 대한 가장 대표적인 vector들이 x,y,z축의 unit vector인 i,j,k 이며,
  이들을 사용한 좌표계를 rectangular system 또는 Cartesian system이라고 함.
• 만약 3개의 vector가 주어졌다고 해도, 이 중 하나가 다른 2개의 vecor의 linear combination이라면, 해당 vector는 결국 다른 2개의 vection의 Span의 한 요소에 불과하며, 결국 2개의 vector만 주어진 것과 같은 애기가 된다.

선형대수에서 Linear Independence는 이후 Affine Independence로 확장된다. 

2024.02.16 - [.../Math] - [LA] Linearly Independent and Affine Independent: Summary

[LA] Linearly Independent and Affine Independent: Summary

하지만 Graphics나 영상처리 등이 아닌 ML이나 Deep Learning의 경우엔 Linearly indenpendent의 개념만 정확히 알고 있는 정도로 많은 이론을 이해하는데 도움이 되니, 개념을 정확히 기억할 것.

---

Orthogonal

orthogonal(직교)의 개념 을 추가로설명한다면,

• linearly independent는 자신만의 고유한 성분을 가지고 있지만, 각 vector들은 다른 vector들의 성분도 일부 가지고 있을 수 있다.
• 하지만 orthogonal한다고 말하려면, 각 vector들이 모두 고유한 성분만을 가지고 있어서 다른 vector과 겹치는 성분을 전혀가지고 있지 않은 것을 애기한다.

아까 예를 든 Cartesian systme의 i,j,k는 x,y,z축의 unit vector로 서로에 대해 orthogonal하다.

 

orthogonal인 경우, 동시에 linearly indepdent는 보장된다.

하지만, 반대로 linearly independet하다고 해서 orthogonal하다고 말할 수는 없다.

 

dot product나 cosine similarity metric은

• vector간의 유사성 (= 얼마나 같은 성분을 공유하고 있는지 정도)을 반영하는 값들로서
• orthogonal할 경우 이들의 값은 0으로 같은 성분을 전혀 공유하고 있지 않음을 나타낸다.

2023.07.23 - [.../Math] - [ML] Cosine Similarity

[ML] Cosine Similarity

---

같이 읽어볼 URLs

2024.02.16 - [.../Math] - [LA] Linearly Independent and Affine Independent: Summary

[LA] Linearly Independent and Affine Independent: Summary

2022.03.28 - [.../Math] - [Math] Vector (1)

[Math] Vector (1)

---

2025.01.21 - [.../Linear Algebra] - [Summary] Linear Algebra (작성중)

[Summary] Linear Algebra (작성중)

 

---