Population riskPopulation risk는 실제 데이터 생성 분포 전체에서 모델이 평균적으로 얼마나 큰 loss를 발생시키는지를 가리킴.입력 $X$와 정답 $Y$가 어떤 확률분포에서 발생하고,모델 $f$의 예측 오류를 loss function $L(Y,f(X))$로 나타낸다면population risk는 다음과 같이 정의됨:$$R(f)=E[L(Y,f(X))]$$Population risk는 loss의 expectation으로 정의 되기 때문에 expected risk라고도 흔히 불림.여기서 expectation은 관측된 sample에 대한 평균이 아니라,실제 데이터가 생성되는 population distribution에 대한 평균 을 의미한다.따라서 population risk는 특정 tr..

Linear Attenuation CoefficientLinear Attenuation Coefficient의 정의는 다음과 같음:$$\mu=\frac{n/N_{\mathrm{in}}}{\Delta x}$$$N_{\mathrm{in}}은$ 두께 $\Delta x$인 얇은 물질층에 입사하는 광자 수이고,$n$은 해당 층에서 소실되는 광자 수임.Fundamental Photon Attenuation Law즉 다음이 성립:$$n=\mu N_{\mathrm{in}}\Delta x$$ 얇은 층을 통과한 후의 광자 수를 N'이라 하면 다음과 같음:$$N'=N_{\mathrm{in}}-n$$ 따라서 광자 수의 변화량은 다음과 같음.$$\begin{aligned}\Delta N&=N'-N_{\mathrm{in}} \\..

Electric Potential(전위):전하량 q인 전하가 위치 r에서 가지는 electric potential energy가 U일 때, 그 위치의 electric potential은 다음과 같음:$$V=\frac{U}{q}$$$V$: 위치 $r$의 electric potential$U$: 전하 $q$가 위치 $r$에서 가지는 electric potential energy$q$: 위치 $r$에 놓인 전하의 전하량 electric potential: 어떤 위치에 charge(전하)를 놓았을 때 electric poetnetial energy(전위에너지)를 가질 수 있는 정도Electric Potential Difference(전위차):두 위치 A와 B의 electric potential 차이$$\Delt..

Monte CarloMonte Carlo는random sample을 반복 생성하여expectation, probability, integral 등을numerical approximation하는 방법의 총칭.다음과 같이 목표분포 $\pi$에서 직접 sampling이 가능한 경우:$$X_1, X_2, \ldots, X_N\overset{\mathrm{IID}}{\sim}\pi$$$X_i$: $i$번째 sample$i$: sampling index$N$: 전체 sample 수$\pi$: target distributionIID(independent and identically distributed) 이므로 다음을 만족: 각 $X_i$는동일한 target distribution에서 생성되며서로 independe..

HalfNormal distribution(반정규분포)은평균이 0인 Normal distribution에서 음수 값을 제거한 뒤,남은 확률밀도를 다시 정규화하여 만든 확률분포.가능한 값은 항상 0 이상이며,standard deviation(표준편차)와 같이 음수가 될 수 없는 parameter(모수)를 표현하는 데 널리 사용됨.(PyMC 등의 MCMC 기반 Bayesian framework 에서 prior distribution으로 자주 사용됨.)정규분포에서 HalfNormal 분포로mean, $\mu=0$ 이고 standard deviation 이 $\sigma$인 normal distirbution 은 다음과 같이 표기됨:$$Z \sim \mathcal{N}(0,\sigma^2)$$Normal dis..

DropPath와 Stochastic Depth는학습 중 residual branch 또는 계산 경로 전체를 확률적으로 제거하여 특정 경로에 대한 의존성을 줄이는 regularization 기법임.현재 timm, Hugging Face Transformers 및 여러 vision model 구현에서는DropPath를 per-sample Stochastic Depth와 거의 같은 의미로 사용함.timm의 DropPath 구현도 코드 주석에서 이를 명시적으로 per-sample stochastic depth라고 설명2024.10.27 - [Programming/ML] - [ML] Regularization [ML] RegularizationRegularization 이란?기계 학습과 딥러닝에서 Regular..