[Math] A regular point of the feasible set.

Regular Points (정규점)

정의

Consider the constrained optimization problem of minimizing $f(\textbf{x})$ subject to the constraints $h_i(\textbf{x})=0, i=1 \text { to } p$.

 

A point $\textbf{x}^*$ satisfying the constraints is said to be a regular point (정규점) of the feasible set

• if $f(\textbf{x}^*)$ is differentiable and
• gradient vectors of all constraints at the point $\textbf{x}^*$ are linearly independent.

Linear independence means that

• no two gradients are parallel to each other, and
• no gradient can be expressed as a linear combination of the others.

When inequality constraints are also included in the problem definition, then for a point to be regular, gradients of active inequalities must be also linearly independent.

 

쉽게 애기하면,

regular point란,
constraints를 만족하면서
동시에 모든 active constraint의 gradient vector가 선형 독립인 point를 가리킴.

 

KKT 조건과 Regular Points

regular point가 아닌 점에서는 KKT 조건을 사용하지 못함.

lineary independent가 성립하지 않으면 Lagragen multiplier가 유일하게 구해지지 않으며
때문에 candidate minimum point들을 구할 수는 있더라도 Lagrange mutiplier가 유일하지 않음.

때문에 이 경우, Iterative Numerical Optimization Method가 대안으로 사용됨.
- 하지만 이 수치적인 방법들도 gradient에 의존하기 때문에 제대로 동작하기 어려울 수도 있음:
- 기하학적으로 잘 정의된 탐색방향이 존재하지 않아 수렴이 잘 안되기 쉬움.

참고로 KKT조건을 만족하지 않는 점은,
해당 점이 irregular point가 아닌 한 local minimum이 아님.

 

2023.05.17 - [.../Math] - [Math] Karush-Kuhn-Tucker Conditions (KKT Conditions)

[Math] Karush-Kuhn-Tucker Conditions (KKT Conditions)