[Math] Ex: Lagrange Method: Tangency Condition

Lagrange method의 tangency condition에서

• gradient vector
• tangent vector

의 이해를 돕는 example

---

이 예제는 Lagrange 방법의

• tangency condition이
• 어떻게 gradient vector와 tangent vector의 관계를 통해
• optimal solution(or optimal point)를 찾는지에 대한 이해를 도움.

---

예제: constrained optimization problem

다음의 Optimization Problem 고려:

$$\text{maximize } f(x,y) = x^2+y^2 \\ \text{s.t. } g(x,y)=x+y-1=0$$

 

여기서

• Object function $f(x, y)$ 는 $x^2 + y^2$이고,
• constraint $g(x, y)$ 는 $x + y - 1 = 0$임.

---

이 문제를 Lagrange method을 적용하면 다음과 같음.

1. Gradient Vector

먼저, Object function $f(x, y)$와 contraint $g(x, y)$의 gradient vector를 구한다:

• object function $f(x, y) = x^2 + y^2$ 의 gradient vector는:
  $$\nabla f = \left( \frac{\partial f}{\partial x}, \frac{\partial f}{\partial y} \right) = (2x, 2y)$$
• constraints $g(x, y) = x + y - 1$ 의 gradient vector는:
  $$\nabla g = \left( \frac{\partial g}{\partial x}, \frac{\partial g}{\partial y} \right) = (1, 1)$$

---

2. Tangent Vector

constraint $g(x, y) = 0$ 는 linear equation 으로, 이는 직선 $x + y = 1$ 을 나타냄.

이 직선의 Tangent Vector(접선 벡터)는 곡선의 방향을 나타내는 벡터임.
constraint이 linear equation 인 경우, tangent vector는 이 직선에 평행한 벡터를 가리킴.

• 즉, 직선 $x + y = 1$ 의 tangent vector는 $(-1, 1)$ 또는 $(1, -1)$ 등이 된다.
• 이들 tangent vector는 해당 직선 $x + y = 1$ 의 방향을 나타냄.

---

3. Tangency Condition

Lagrange 방법의 tangency condition은 다음과 같음:

 

$$\nabla f = \lambda \nabla g$$

 

• 이는 object function의 gradient vector와 contraint(제약 조건 함수)의 gradient vector가 동일한 방향을 가리킨다는 것을 의미.
• 이는 gradient vector와 tangent vector가 orthogonal 하기 때문임

---

 

위의 object function과 contraints의 gradient vectors를 사용하여, 다음의 방정식이 구해짐:

 

$$(2x, 2y) = \lambda (1, 1)$$

 

이것은 두 벡터가 같은 방향을 가리켜야 함을 의미함.

 

이를 풀면 다음과 같음:

$$2x = \lambda \quad \text{and} \quad 2y = \lambda$$

따라서, $x = y$ 임을 알 수 있음.

 

제약 조건 $x + y = 1$ 에 대입하면:

$$x + x = 1 \quad \Rightarrow \quad 2x = 1 \quad \Rightarrow \quad x = \frac{1}{2}$$

그리고 $y = x$이므로:
$$y = \frac{1}{2}$$

 

따라서 optimal solution은 $(x, y) = \left( \frac{1}{2}, \frac{1}{2} \right)$ 임.

---

요약

• Gradient Vector:
  • object function와 constraint functions의 변화율을 나타내며, 가장 빠르게 변화하는 방향을 가리킴.
  • $\nabla f = (2x, 2y)$ 와 $\nabla g = (1, 1)$로 주어짐.
• Tangent Vector:
  • constraints을 만족하는 곡선이나 곡면의 접선 방향을 나타냄.
  • 여기서는 직선 $x + y = 1$ 에 평행한 벡터 $(1, -1)$ 또는 $(-1, 1)$임.
• Tangency Condition:
  • optimal point에서 목적 함수와 제약 조건 함수의 gradient vector가 같은 방향을 가리킨다는 필요조건.
  • 이는 두 벡터가 평행하다는 것을 의미.