Continuous and Smooth Function
Optimization에서 objective function과 constraint functions은 일반적으로
- continuous 이면서
- smooth function (= 무한차수의 derivative를 구할 수 있는 function)임.
Optimization이 statonarity 와 gradient와 같은 미분에 기반하기 때문임.
2024.03.27 - [.../Math] - [Math] Continuous 와 Differentiable 의 관계
[Math] Continuous 와 Differentiable 의 관계
Differentiable and Continuous Function $f(x)$가 $x=a$에서 미분 가능 ($p$) 하면 $f(x)$는 연속이다($q$). (← implication, 조건명제) $p \implies q$ 는 참(True)이나 이의 역인 $q \implies p$는 거짓(False)임. Example $f(x)=|x|$ : $
dsaint31.tistory.com
2023.06.22 - [.../Math] - [Math] Continuity (of Multivariate Function) and Contiguity
[Math] Continuity (of Multivariate Function) and Contiguity
Continuity (연속) 이란 If $S\subseteq \mathbb{R}^n$, then a function $f:S\to \mathbb{R}$ is continuous at $\textbf{a} \in S$ if $$\begin{equation}\label{cont.def} \forall \varepsilon >0, \ \ \exists \delta>0 \mbox{ such that if } \mathbf x \in S \mbox{
dsaint31.tistory.com
2023.07.10 - [.../Math] - [Math] Stationary point (or Critical point)
[Math] Stationary point (or Critical point)
(Convex) Opimization에서 찾고자하는 solution은 objective function에 대한 local minimum이다. 이를 곧바로 찾기는 쉽지 않기 때문에, solution이 될 수 있는 후보들을 먼저 gradient (or 1st derivative)를 이용하여 찾아
dsaint31.tistory.com
Optimization의 경우,
- objective function이나
- objective function의 derivative (or gradient)에
discontinuity가 있는 경우 (=미분불가) 많은 알고리즘들을 적용할 수 없음.
또한 이들 함수 자체가 정확하지 않고 측정 잡음 등으로 인해 오차가 포함된 경우에도 많은 optimization algorithm이 잘 동작하지 못함.
'... > Math' 카테고리의 다른 글
| [Math] Weighted Least Square (1) | 2024.06.13 |
|---|---|
| [ML] Bootstrap Sampling (1) | 2024.06.05 |
| [Math] Optimization Problem 의 종류 (0) | 2024.06.01 |
| [Math] Optimization 이란 (Introduction) (0) | 2024.06.01 |
| [Math] Categorical Distribution (0) | 2024.05.22 |