DropPath와 Stochastic Depth는학습 중 residual branch 또는 계산 경로 전체를 확률적으로 제거하여 특정 경로에 대한 의존성을 줄이는 regularization 기법임.현재 timm, Hugging Face Transformers 및 여러 vision model 구현에서는DropPath를 per-sample Stochastic Depth와 거의 같은 의미로 사용함.timm의 DropPath 구현도 코드 주석에서 이를 명시적으로 per-sample stochastic depth라고 설명2024.10.27 - [Programming/ML] - [ML] Regularization [ML] RegularizationRegularization 이란?기계 학습과 딥러닝에서 Regular..

Optimism-corrected accuracy는bootstrap sampling을 통해resubstitution accuracy에 포함된 낙관적 bias를추정하고 보정한 accuracy임.여기서 optimism은 다음을 의미함.model이 학습에 사용한 data에서 평가될 때, 실제 일반화 성능보다 성능이 좋게 나오는 정도 즉, training data에서 다시 평가한 성능은 보통 실제 성능보다 높게 나온다. 이를 apparent performance 또는 resubstitution performance라고 부른다. 이 외의 bootstrap에서 사용되는 metrics에 대해선 다음을 참고:2026.04.14 - [Programming/ML] - Bootstrap Sampling 기반 Accuracy..

Balanced Accuracy(균형 정확도) 는class imbalance(클래스 불균형) 가 있는 classification(분류) 문제에서 사용하는evaluation metric(평가지표)임.Ordinary Accuracy일반적인 Accuracy(정확도) 는 전체 sample 중 맞춘 비율임.$$\text{Accuracy} = \frac{\text{맞춘 sample 수}}{\text{전체 sample 수}}$$ 하지만,특정 class의 sample 수가 매우 많으면,model(모델)이 majority class(다수 클래스)만 잘 맞춰도accuracy가 높게 나올 수 있음.Balanced Accuray앞서의 class imbalance 에서의 일반 accuracy가 가지는 문제점을 극복하기 위해각 ..

[BFGS]BFGS(Broyden-Fletcher-Goldfarb-Shanno algorithm)는 대표적인 Quasi-Newton method(준-뉴턴 방법) 중 하나임.고차원 문제에서는 L-BFGS가 더 많이 사용됨L-BFGS 는 BFGS가 전체 matrix를 메모리에 적재하는 것을 개선한 버전으로 주로 많이 이용됨(L= Limited-meory) 더보기BFGS는 1970년에 4명의 연구자 (Broyden-Fletcher-Goldfarb-Shanno 가 독립적으로 서로 다른 방식의 접근을 통해 동일한 업데이트식을 도출해 낸 걸로 유명한 알고리즘. 이들 4명의 연구자들의 이름을 따서 BFGS 가 됨. 당시 널리 사용되던 DFP(Davidon-Fletcher-Powell) 방법의 단점을 보완하기 위해 개..

0. Linear Regression 분류Linear Regression ├── 1. Error model 기준 │ ├── OLS 계열 │ │ ├── X: fixed or error-free │ │ ├── y: noise 있음 │ │ └── $\text{Var}(\varepsilon) = \sigma^2\mathbf{I}$│ │ │ ├── WLS 계열 │ │ ├── X: fixed or error-free │ │ ├── y: n..

0. 왜 Bootstrap Accuracy Estimation이 필요한가모델 성능 평가의 이상적인 방법은 독립적인 test set을 사용하는 것임.하지만 데이터가 부족한 경우, 충분한 test set을 확보하기 어려움.Bootstrap accuracy estimation은복원 추출(sampling with replacement) 을 반복(Bootstrap Iteration)하여하나의 dataset으로 여러 training/evaluation 조합을 만들고 이를 통해 모델의 일반화 성능을 추정하는 방법임.단일 train/test split 의 경우와 비교하여 "분산(variance)을 줄인 보다 안정적인 성능 추정" 이 가능 2024.06.05 - [.../Math] - [ML] Bootstrap Samp..