[Math] Directional Derivative (방향도함수)

정의

Function $f:\mathbb{R}^n\to \mathbb{R}$에 대해서
unit vector $\textbf{u}=\begin{bmatrix}u_1 & \cdots & u_n\end{bmatrix}^T$의 방향으로
function $f$의 순간변화율이 바로 Directional Derivative임.

---

수식

$$\nabla_{\textbf{u}}f(\textbf{x})=\underset{h \to 0}{\lim}\frac{f(\textbf{x}+h\textbf{u})-f(\textbf{x})}{h}=\frac{\partial f(\textbf{x})}{\partial \textbf{u}}$$

 

• Directional Derivative에서 방향을 결정하기 위해서 unit vector $\textbf{u}$가 주어짐.
• 해당 방향으로 아주 작은 크기로 input이 변화하면 $f$의 출력이 어떻게 변하는지를 나타냄.

 

Partial derivative가 각 축에서의 변화가 함수 결과값에 어떤 영항을 주는지 정도(scalar, 비율로 나옴)를 나타낸 것과 달리

Directional derivative는 특정 방향(unit vector로 주어짐)으로의 변화가 얼마나 영향을 주는지를 보여줌.
역시 scalar를 값으로 가짐.

---

Graph와 Example

그래프로 그리기 위해 vector $\textbf{x}=\begin{bmatrix}x_0 & y_0\end{bmatrix}^T$에서 unit vector $\textbf{u}=\begin{bmatrix}u_1& u_2\end{bmatrix}^T$의 방향의 $z=f(\textbf{x})=f(x,y)$의 directional derivative를 수식으로 기재하면 다음과 같음.

$$\nabla_{\textbf{u}}f(x_0,y_0)=D_u f(x_0,y_0)=\frac{\partial f(x_0,y_0)}{\partial \textbf{u}}=\underset{h \to 0}{\lim}\frac{f(x_0+hu_1,y_0+hu_2) - f(x_0,y_0)}{h}$$

아래 그림은 directional derivative가 결국 $\textbf{u}$ 방향에 대한 $(x_0, y_0)$에서의 slope of $f(x,y)$임을 도식적으로 보여줌.

위의 directional derivative는 $\textbf{x}=(x_0,y_0)$에서의 각 partial derivative들을 대응하는 $\textbf{u}$의 각 component와 곱한 후 모두 더한 값이다.

$$\nabla_{\textbf{u}}f(\textbf{x})=\sum_{i=1}^{n} \left(\frac{\partial f(\textbf{x})}{\partial x_i}\cdot u_i\right)$$

 

$f(x,y)=xy$라는 함수에서 $\textbf{u}=\frac{\sqrt{3}}{2} \textbf{i}+ \frac{1}{2} \textbf{j}$ 에 대한 $\nabla_{\textbf{u}}f(1,2)$를 구하면 다음과 같음.

 

$$\nabla_{\textbf{u}}f(1,2)=\left.y\cdot\frac{\sqrt{3}}{2}\right|_{y=2} + \left.x\cdot\frac{1}{2}\right|_{x=1}=\sqrt{3}+\frac{1}{2}\approx2.23$$ 

 

2023.06.23 - [.../Math] - [Math] Partial Derivatives (편도함수)

[Math] Partial Derivatives (편도함수)

---

참고 : Gadient와의 inner product

앞서 살펴본 directional derivative를 구하는 방법을 살펴보면, gradient와의 inner product(내적)임을 알 수 있다. 

즉, 다음이 성립함.

 

$$\nabla_{\textbf{u}}f(\textbf{x})=\textbf{u}\cdot\nabla f(\textbf{x})$$

 

• $\textbf{u}$의 방향에서의 gradient의 magnitude (=해당 방향 성분의 크기)가 바로 Directional derivative임.
• inner product(내적)이니 결과도 scalar임.

위 식에서 inner product되는 vector $\textbf{u}$는 unit vector이기 때문에 magnitude가 1이며, 이는 directional derivative에서 가장 큰 값을 가지는 경우는 gradient와 같은 방향의 unit vector $\textbf{u}$임을 의미한다.

 

결국, 이는 gradient가 가장 큰 기울기로 증가하는 방향을 나타내고 있음을 다시 한번 확인시켜준다.

---

References

https://youtu.be/4tdyIGIEtNU