[Math] The Key Rules of Differentiation

The Key Rules of Differentiation

 

1. Power rule (다항식의 미분에 핵심)

If $f(x)=x^n$, where $n \in \mathbb{R}$, then the derivative of $f$ with respect to $x$ is $f^\prime(x)=nx^{n-1}$.

---

2. Constant rule

if $f(x)=c$ where $c \in \mathbb{R}$ and constant, then the derivative of $f$ with respect to $x$ is $f^\prime (x)=0$.

---

3. Sum and Difference rule (미분의 선형성)

$f$와 $g$ 모두 $x$에 대해 differentiable function이라면, 다음이 성립.

$$\frac{d}{dx}\left[ f(x) \pm g(x) \right] = f^\prime (x) \pm g^\prime (x) = g^\prime (x) \pm f^\prime(x)$$

 

다음과 같은 linearity의 관점으로 기억하는게 낫다.

$$\frac{d}{dx}\left(af(x)+bg(x)\right)=a\frac{df(x)}{dx}+b\frac{dg(x)}{dx}$$

 

---

4.Product rule (곱의 법칙)

$u,v$가 미분 가능한 함수(differentiable functions) 라고 가정할 경우, 다음이 성립.

 

If $f(x)=u(x)v(x)$, then the derivative of $f$ with respect to $x$ is $f^\prime (x)= u^\prime(x)v(x)+u(x)v^\prime (x)$.

---

5. Quotient rule (몫의 법칙)

두 미분가능한 functions 간의 ratio를 미분할 때 사용됨.

 

If $f(x)=\frac{u(x)}{v(x)}$, then the derivative of $f$ with respect to $x$ is $f^\prime (x)=\frac{u^\prime (x) v(x)-u(x)v^\prime(x)}{v^2(x)}$$.

---

6. Chain rule (합성함수의 미분)

미분 가능한 여러 functions의 Composite function을 미분할 때 사용됨.

 

If a function $y=f(u)$ is composed of another function $u=g(x)$ such that $y=f(g(x))$, then the derivative of $y$ with respect to $x$ is $\frac{dy}{dx}=\frac{dy}{du}\frac{du}{dx}$.

 

2023.06.24 - [.../Math] - [Math] Chain Rule (연쇄법칙)

[Math] Chain Rule (연쇄법칙)

 

참고로, Back-propagation에서 gradient를 구하기 위해 사용되는 Reverse-mode automatic differentiation은 chain rule을 기반으로 동작함.

---

7. Inverse function rule (역함수의 미분법칙)

$y=f(x)$가 differentiable and bjective function인 경우, inverse $f^{-1}(y)$의 derivative는 다음과 같음.

$$(f^{-1})^\prime (x) = \frac{1}{f^\prime (y)}$$

위의 경우, $f^\prime (y) \ne 0$여야 함.

 

reciprocal이 아닌 inverser function임을 기억할 것.