Population riskPopulation risk는 실제 데이터 생성 분포 전체에서 모델이 평균적으로 얼마나 큰 loss를 발생시키는지를 가리킴.입력 $X$와 정답 $Y$가 어떤 확률분포에서 발생하고,모델 $f$의 예측 오류를 loss function $L(Y,f(X))$로 나타낸다면population risk는 다음과 같이 정의됨:$$R(f)=E[L(Y,f(X))]$$Population risk는 loss의 expectation으로 정의 되기 때문에 expected risk라고도 흔히 불림.여기서 expectation은 관측된 sample에 대한 평균이 아니라,실제 데이터가 생성되는 population distribution에 대한 평균 을 의미한다.따라서 population risk는 특정 tr..

Monte CarloMonte Carlo는random sample을 반복 생성하여expectation, probability, integral 등을numerical approximation하는 방법의 총칭.다음과 같이 목표분포 $\pi$에서 직접 sampling이 가능한 경우:$$X_1, X_2, \ldots, X_N\overset{\mathrm{IID}}{\sim}\pi$$$X_i$: $i$번째 sample$i$: sampling index$N$: 전체 sample 수$\pi$: target distributionIID(independent and identically distributed) 이므로 다음을 만족: 각 $X_i$는동일한 target distribution에서 생성되며서로 independe..

DropPath와 Stochastic Depth는학습 중 residual branch 또는 계산 경로 전체를 확률적으로 제거하여 특정 경로에 대한 의존성을 줄이는 regularization 기법임.현재 timm, Hugging Face Transformers 및 여러 vision model 구현에서는DropPath를 per-sample Stochastic Depth와 거의 같은 의미로 사용함.timm의 DropPath 구현도 코드 주석에서 이를 명시적으로 per-sample stochastic depth라고 설명2024.10.27 - [Programming/ML] - [ML] Regularization [ML] RegularizationRegularization 이란?기계 학습과 딥러닝에서 Regular..

Optimism-corrected accuracy는bootstrap sampling을 통해resubstitution accuracy에 포함된 낙관적 bias를추정하고 보정한 accuracy임.여기서 optimism은 다음을 의미함.model이 학습에 사용한 data에서 평가될 때, 실제 일반화 성능보다 성능이 좋게 나오는 정도 즉, training data에서 다시 평가한 성능은 보통 실제 성능보다 높게 나온다. 이를 apparent performance 또는 resubstitution performance라고 부른다. 이 외의 bootstrap에서 사용되는 metrics에 대해선 다음을 참고:2026.04.14 - [Programming/ML] - Bootstrap Sampling 기반 Accuracy..

Balanced Accuracy(균형 정확도) 는class imbalance(클래스 불균형) 가 있는 classification(분류) 문제에서 사용하는evaluation metric(평가지표)임.Ordinary Accuracy일반적인 Accuracy(정확도) 는 전체 sample 중 맞춘 비율임.$$\text{Accuracy} = \frac{\text{맞춘 sample 수}}{\text{전체 sample 수}}$$ 하지만,특정 class의 sample 수가 매우 많으면,model(모델)이 majority class(다수 클래스)만 잘 맞춰도accuracy가 높게 나올 수 있음.Balanced Accuray앞서의 class imbalance 에서의 일반 accuracy가 가지는 문제점을 극복하기 위해각 ..

[BFGS]BFGS(Broyden-Fletcher-Goldfarb-Shanno algorithm)는 대표적인 Quasi-Newton method(준-뉴턴 방법) 중 하나임.고차원 문제에서는 L-BFGS가 더 많이 사용됨L-BFGS 는 BFGS가 전체 matrix를 메모리에 적재하는 것을 개선한 버전으로 주로 많이 이용됨(L= Limited-meory) 더보기BFGS는 1970년에 4명의 연구자 (Broyden-Fletcher-Goldfarb-Shanno 가 독립적으로 서로 다른 방식의 접근을 통해 동일한 업데이트식을 도출해 낸 걸로 유명한 알고리즘. 이들 4명의 연구자들의 이름을 따서 BFGS 가 됨. 당시 널리 사용되던 DFP(Davidon-Fletcher-Powell) 방법의 단점을 보완하기 위해 개..