[LA] Quadratic Form and Positive/Negative Definite

Quadratic Form :
Scalar 에서 이차식 (Quadratic Expression) $a x^2$의 일반형.

 

Definition of Quadratic Form

$x\in \mathbb{R}^n$ 일 때, $\mathbb{R}^n$에서의 Quadratic Form (이차형식) 은 다음과 같음.

$$\mathbf{x}^\top A \mathbf{x}$$

where,

• $A$: Matrix of Quadratic Form. 이차항에서의 coefficient에 해당함.
  • 항상 Symmetric Matrix임.
  • $n=1$인 경우, $a x^2$가 이차형식으로 scalar가 됨: $1 \times 1$.

---

Hessian 의 부호: Concave, Convex

$f(x)=a x^2$ 와 같은 이차식은 concave, convex 이냐에 따라 최대값 및 최소값을 가짐.

이는 $a$의 부호에 의해 결정됨.

이를 vector $\mathbf{x}$로 확장한 경우(단, $f(\mathbf{x})$는 여전히 scalar)에도
Quadratic Form의 coefficient 에 해당하는 matrix $A$에 의해 concave, convex가 결정됨.

$A$는
Quadratic Form의 2nd Derivative인
Hessian에 해당.

 

2022.06.05 - [Programming/DIP] - [Math] Hessian: Summary

[Math] Hessian: Summary

2023.07.10 - [.../Math] - [Math] Second Order Condition : Convexity

[Math] Second Order Condition : Convexity

 

Matrix $A$의 부호가 바로 positive definite, negative definte 로서 다음과 같이 정의됨:

 

Matrix $A \in \mathbb{R}^{n \times n}$ 이고, zero vector가 아닌 임의의 $\mathbf{x} \in \mathbb{R}^n$에서

• $\mathbf{x}^\top A \mathbf{x} >0$ 이면 $A$는 positive definite 임 ( $a>0$에 해당).
• $\mathbf{x}^\top A \mathbf{x} \ge 0$ 이며 $A$는 positive semi-definite 임 ( $a \ge 0$에 해당).
• $\mathbf{x}^\top A \mathbf{x} <0$ 이면 $A$는 negative definite 임 ($a<0$에 해당).
• $\mathbf{x}^\top A \mathbf{x} \le 0$ 이면 $A$는 negative semi-definite 임 ($a \le 0$에 해당).

---

Positive Definite and Eigenvalues

Quadratic Form의 경우 $A$가 Symmetric Matrix이며, 이 경우 Eigen Decomposition을 통해 다음이 성립.

• "Symmetric Matrix $A$가 Positive Definite" iif "$A$의 모든 Eigenvalues 가 양수임."
• "Symmetric Matirx $A$가 Positive Semi-Definite" iff "$A$의 모든 Eigenvalues 가 0 이상임."
• "Symmetric Matrix $A$가 Negative Definite" iif "$A$의 모든 Eigenvalues 가 음수임."
• "Symmetric Matrix $A$가 Negative Semi-Definite" iff "$A$의 모든 Eigenvalues 가 0 이하임."

Symmetric Matrix는 항상 real eigenvalue를 자신의 행(=열)의 갯수로 가지며, 항상 orthogonal diagonalizable임.

참고로, $A^\top A$는 항상 symmetric matrix이면서 동시에 positive semi-definite임!

https://youtu.be/ns3A6S-9eeQ?si=-t2oNGjElaq7cbRX

$A^\top A$가 symmetric 이며 positive semidefinite 임을 보이는 동영상

---

같이 보면 좋은 자료들

2024.11.06 - [.../Linear Algebra] - [LA] Eigenvalue and Eigenvector

[LA] Eigenvalue and Eigenvector

2022.11.17 - [.../Linear Algebra] - [LA] Diagonalization (Eigen-Decomposition), Orthogonal Diagonalization, and Symmetric Matrix

[LA] Diagonalization (Eigen-Decomposition), Orthogonal Diagonalization, and Symmetric Matrix

 

2025.01.21 - [.../Linear Algebra] - [Summary] Linear Algebra (작성중)

[Summary] Linear Algebra (작성중)

---