[Math] The Key Rules of Differentiation

The Key Rules of Differentiation

 

1. Power rule (다항식의 미분에 핵심)

If $f(x)=x^n$, where $n \in \mathbb{R}$, then the derivative of $f$ with respect to $x$ is $f^\prime(x)=nx^{n-1}$

https://youtu.be/m0xJM4AntQg?si=KjDW_SeYWwN-BZnF

---

---

2. Constant rule

if $f(x)=c$ where $c \in \mathbb{R}$ and constant, then the derivative of $f$ with respect to $x$ is $f^\prime (x)=0$.

---

3. Sum and Difference rule (미분의 선형성)

$f$와 $g$ 모두 $x$에 대해 differentiable function이라면, 다음이 성립.

$$\frac{d}{dx}\left[ f(x) \pm g(x) \right] = f^\prime (x) \pm g^\prime (x) = g^\prime (x) \pm f^\prime(x)$$

 

다음과 같은 linearity의 관점으로 기억하는게 낫다.

$$\frac{d}{dx}\left(af(x)+bg(x)\right)=a\frac{df(x)}{dx}+b\frac{dg(x)}{dx}$$

 

---

4.Product rule (곱의 법칙)

$u,v$가 미분 가능한 함수(differentiable functions) 라고 가정할 경우, 다음이 성립.

 

If $f(x)=u(x)v(x)$, then the derivative of $f$ with respect to $x$ is $f^\prime (x)= u^\prime(x)v(x)+u(x)v^\prime (x)$.

---

5. Quotient rule (몫의 법칙)

두 미분가능한 functions 간의 ratio를 미분할 때 사용됨.

 

If $f(x)=\frac{u(x)}{v(x)}$, then the derivative of $f$ with respect to $x$ is $f^\prime (x)=\frac{u^\prime (x) v(x)-u(x)v^\prime(x)}{v^2(x)}$.

---

6. Chain rule (합성함수의 미분)

미분 가능한 여러 functions의 Composite function을 미분할 때 사용됨.

 

If a function $y=f(u)$ is composed of another function $u=g(x)$ such that $y=f(g(x))$, then the derivative of $y$ with respect to $x$ is $\frac{dy}{dx}=\frac{dy}{du}\frac{du}{dx}$.

 

2023.06.24 - [.../Math] - [Math] Chain Rule (연쇄법칙)

[Math] Chain Rule (연쇄법칙)

 

참고로, Back-propagation에서 gradient를 구하기 위해 사용되는 Reverse-mode automatic differentiation은 chain rule을 기반으로 동작함.

---

7. Inverse function rule (역함수의 미분법칙)

$y=f(x)$가 differentiable and bijective function인 경우, inverse $f^{-1}(y)$의 derivative는 다음과 같음.

$$(f^{-1})^\prime (y) = \frac{1}{f^\prime (y)}$$

위의 경우, $f^\prime (y) \ne 0$여야 함.

 

주의할 건, $f^\prime (y)$는 단순히 $f^\prime (x)$에서 기호 $x$를 기호 $y$로 바꾼 것이 아니고, $x$를 $y$로 표현한 식을 $x$ 자리에 대입하는 것임.

$y=x^3$에 대해 적용시, $f^\prime(x)=3x^2$ 이며 $x=y^{\frac{1}{3}}$이므로, $(f^{-1}) (y)= \frac{1}{3(y^{\frac{1}{3}})^2} = \frac{1}{3y^{\frac{2}{3}}}$ 임.

 

reciprocal이 아닌 inverse function임을 기억할 것.

---

같이보면 좋은 자료들

https://dsaint31.github.io/math/math-week03/

[Math] Week 03

 

---