[Math] Differentiability of MultivariableFunctions

Differentiability

$\textbf{f}:\mathbb{R}^n \to \mathbb{R}^m$ 이고, $\textbf{a} \in \mathbb{R}^n$이면서 $\textbf{f}$의 domain에 속한다고 하자. 이 때

$$
\underset{\textbf{x}\to\textbf{a}}{\lim} \frac{\textbf{f}(\textbf{x})-\textbf{f}(\textbf{a})-\textbf{L}\langle \textbf{x}-\textbf{a}\rangle}{||\textbf{x}-\textbf{a}||_2}=\textbf{0}
$$

• $||\textbf{x}-\textbf{a}||_2$ : $\textbf{x}$와 $\textbf{a}$의 difference vector의 L-2 norm임.

위와 같은 식을 만족하는 linear transform $\textbf{L}: \mathbb{R}^n \to \mathbb{R}^m$ 이 존재한다면,
$\textbf{f}$ 를 $\textbf{a}$에서 differentiable 하다고 한다.

• 여기서 $\textbf{L}$ 이 바로 derivative of $\textbf{f}$ 임.
• $\textbf{L} = \textbf{f}^\prime (\textbf{a})$.

위의 정의에서 $\textbf{L}\langle \textbf{v} \rangle$는 vector $\textbf{v}$를 linear transform $\textbf{L}$로 mapping한 결과 인 image of $\textbf{v}$를 가르킴.

즉, $\textbf{L}$이 linearity를 가진다는 의미는

• $\textbf{L}=\textbf{f}^\prime(\textbf{a})$가 $\textbf{a}$상에서 linear 하다는 뜻이 아니고,
• $\textbf{L}\langle \textbf{v}\rangle=\textbf{f}^\prime(\textbf{a})\langle \textbf{v} \rangle$가 $\textbf{v}$ 상에서 linear 하다는 뜻임.

이를 이해하기 위해 matrix equation으로 $\textbf{L}\langle \textbf{v}\rangle=\textbf{f}^\prime(\textbf{a})\langle \textbf{v} \rangle$를 표현하면 다음과 같음.

linear transform $\textbf{L}: \mathbb{R}^n \to \mathbb{R}^m$ 은 다음과 같은 unique한 $m \times n$ standard matrix를 가짐.

$$\textbf{L}=\begin{bmatrix} \frac{\partial f_1}{\partial x_1} & \cdots & \frac{\partial f_1}{\partial x_n} \\
& \ddots & \\ \frac{\partial f_m}{\partial x_1} & \cdots & \frac{\partial f_m}{\partial x_n}\end{bmatrix}$$

• 위의 matrix가 바로 muti-variable vector(-valued) function $\textbf{F}$의 Jacobian matrix임.

여기서 $\langle \textbf{v} \rangle$은 column vector $\textbf{v}$를 $n \times 1$ matrix로 표현한 것을 의미한다. 즉 다음과 같은 matrix equation으로 표현됨.

$$
\textbf{L}\langle \textbf{v} \rangle= \begin{bmatrix} \frac{\partial f_1}{\partial x_1} & \cdots & \frac{\partial f_1}{\partial x_n} \\
& \ddots & \\ \frac{\partial f_m}{\partial x_1} & \cdots & \frac{\partial f_m}{\partial x_n}\end{bmatrix} \begin{bmatrix}v_1 \\ \vdots \\ v_n \end{bmatrix} = \begin{bmatrix} \frac{\partial f_1}{\partial x_1}v_1 + \cdots + \frac{\partial f_1}{\partial x_n}v_n \\
\vdots \\ \frac{\partial f_m}{\partial x_1}v_1 + \cdots + \frac{\partial f_m}{\partial x_n}v_n\end{bmatrix}$$

---

Multivariate function의 경우

multi-variate function의 경우, $m=1$ (즉, 결과값이 scalar, $\textbf{f}=f_1=f$)이 되므로 결국 다음과 같음.

$$
\textbf{L}\langle \textbf{v} \rangle= \begin{bmatrix} \frac{\partial f_1}{\partial x_1}v_1 + \cdots + \frac{\partial f_1}{\partial x_n}v_n\end{bmatrix}= \frac{\partial f}{\partial x_1}v_1 + \cdots + \frac{\partial f}{\partial x_n}v_n \\ \textbf{L}=f^\prime = \begin{bmatrix}\frac{\partial f}{\partial x_1} & \cdots & \frac{\partial f}{\partial x_n}\end{bmatrix}$$

 

Differentiability of multivariate function을 $\Delta f = f(a_1+\Delta x_1, \cdots, a_n+\Delta x_n)- f(a_1 \cdots a_n)$으로 표현하면 다음과 같음.

 

$f:\mathbb{R}^n \to \mathbb{R}$와 $\textbf{a}$이 domain에 속하면서 $\textbf{a} \in \mathbb{R}^n$ 인 경우, incremental $\Delta f$ 가 다음을 만족하는 경우, $f$는 $\textbf{a}$에서 differentiablity를 갖는다.

 

$$\Delta f = \sum^n_{i=1}\frac{\partial f}{\partial x_i}\Delta x_i + \sum^n_{i=1} \epsilon_i \Delta x_i$$

 

• 단, 모든 $i$ (1부터 $n$까지)에 대해, $\Delta x_i \to 0$이면 $\epsilon_i \to 0$가 성립해야 함.   

---

References

https://link.springer.com/chapter/10.1007/978-1-4612-0035-2_1

978-1-4612-0035-2_1.pdf

0.25MB