Bootstrap Sampling을 이해하고 활용하기Bootstrap Sampling이란 무엇인가?Bootstrap Sampling은 통계학(Statistics)과 데이터 과학(Data Science)에서 널리 사용되는 강력한 방법론(Methodology) 중 하나임.이는 기존의 데이터를 활용하여 통계적 추정치(Statistical Estimates)를 계산하고 신뢰 구간(Confidence Intervals)을 추정하는 방법임.특히, 표본의 크기(Sample Size)가 작거나 데이터의 분포(Distribution)에 대한 가정이 어려운 경우에 유용함.Bootstrap Sampling의 기본 개념Bootstrap Sampling의 핵심 아이디어는 Resampling with Replacement(복원 ..

TTL : Transistor-Transistor LogicTTL이란 Transistor-Transistor Logic의 약자이며,Transistor들을 조합한 Combinatorial Circuit 으로Diode와 Transistor를 조합한 Diode-Transistor Logic(DTL)에서Diode를 Transistor로 대체한 회로를 의미함.이는 IC로 쉽게 구성할 수 있고 저전력 고속동작을 보장함.TTL 회로는빠른 속도로 작동하고,디지털 전자 장치에서 널리 사용되며,특히 컴퓨터와 같은 고속 디지털 시스템에서 사용됨.그리고 TTL Level로 불리는 전압의 특정 범위를 통해 TTL회로는 논리 상태를 나타내어 신뢰성과 간섭 내성을 높임.TTL LevelTTL(TTL: Transistor-Trans..

비선형 문제는 선형 문제보다 해결하기 어렵지만 많은 현실 세계의 문제가 비선형 문제임.일반적인 비선형 문제는 국소 최소값과 전역 최소값을 모두 가질 수 있으며,이는 Optimization의 iterative algorithm을 통해 전역 최소값을 찾기 어렵게 만듬 Iterative Alogrithm 으로 non-linear problem을 풀 경우:종종 국소 최소값에 수렴하거나국소 및 전역 최소값이 모두 있을 때 수렴에 실패할 수 있음.그러나 효율적으로 해결할 수 있는 비선형 문제의 중요한 하위 클래스는 볼록 문제 임.이는 엄격한 국소 최소값의 부재와 고유한 전역 최소값의 존재와 관련이 있음.이러한 특성 덕분에 비록 비선형이지만 볼록 문제는 효율적으로 해결될 수 있음.

Continuous and Smooth FunctionOptimization에서 objective function과 constraint functions은 일반적으로 continuous 이면서smooth function (= 무한차수의 derivative를 구할 수 있는 function)임.Optimization이 statonarity 와 gradient와 같은 미분에 기반하기 때문임. 2024.03.27 - [.../Math] - [Math] Continuous 와 Differentiable 의 관계 [Math] Continuous 와 Differentiable 의 관계Differentiable and Continuous Function $f(x)$가 $x=a$에서 미분 가능 ($p$) 하면 $f(x)..

Optimization Problem의 종류1. Minimization Problem vs. Maximization Problem 일반적인 최적화 문제는 최소화 문제로 공식화될 수 있음. 이는 다음과 같이 표현됨:$$\underset{\boldsymbol{\omega}}{\min} f(\boldsymbol{\omega})$$이는 다음의 제약 조건에 종속됨:$m$개의 부등식 제약 조건: $g_i(\boldsymbol{\omega}) \le 0$$p$개의 등식 제약 조건: $h_j(\boldsymbol{\omega}) = 0$여기서:$f(\textbf{x})$: $\textbf{x}$의 실값 함수 (또는 스칼라 필드)$\textbf{x}$: 입력 열 벡터 $\textbf{x} = (x_0, x_1, \dot..

Optization(최적화)란 무엇인가?Optimization(최적화)는feasible candidates(가능한 후보)들 중에서Optimal element(최적의 요소)를 찾아내는 과정임.쉽게 말해, 어떤 문제에 대해 Optimal solution을 찾는 것임.Feasible candidates (가능 후보들):최적의 요소를 찾기 위해 고려하는 후보들임.이 후보들은 보통 constraints (제약 조건)에 의해 범위가 제한됨.Objective function (목적 함수, J):Optimization에서 optimal solution을 찾기 위해 사용하는 함수를 가르키는 generic term임.실제적으로는 이 함수의 값을 가장 작게(또는 크게) 만드는 것이 optimization의 목표임.분야에 따..