DropPath와 Stochastic Depth는학습 중 residual branch 또는 계산 경로 전체를 확률적으로 제거하여 특정 경로에 대한 의존성을 줄이는 regularization 기법임.현재 timm, Hugging Face Transformers 및 여러 vision model 구현에서는DropPath를 per-sample Stochastic Depth와 거의 같은 의미로 사용함.timm의 DropPath 구현도 코드 주석에서 이를 명시적으로 per-sample stochastic depth라고 설명2024.10.27 - [Programming/ML] - [ML] Regularization [ML] RegularizationRegularization 이란?기계 학습과 딥러닝에서 Regular..

0. 왜 Bootstrap Accuracy Estimation이 필요한가모델 성능 평가의 이상적인 방법은 독립적인 test set을 사용하는 것임.하지만 데이터가 부족한 경우, 충분한 test set을 확보하기 어려움.Bootstrap accuracy estimation은복원 추출(sampling with replacement) 을 반복(Bootstrap Iteration)하여하나의 dataset으로 여러 training/evaluation 조합을 만들고 이를 통해 모델의 일반화 성능을 추정하는 방법임.단일 train/test split 의 경우와 비교하여 "분산(variance)을 줄인 보다 안정적인 성능 추정" 이 가능 2024.06.05 - [.../Math] - [ML] Bootstrap Samp..

위 그림의 원본은 https://www.researchgate.net/figure/Examples-of-three-stages-of-ULMFiT-training-a-training-on-general-domain-information_fig2_384502200 임. Averaged Stochastic Gradient Descent Weight-Dropped 3-Layer LSTM (AWD 3-Layer LSTM) 의 구조를 사용.상단의 learning rate에 대한 그래프들이 좌/우로 있는데,왼쪽은 layerindex $l$이 증가(upstream layer)할수록 학습률이 큼(Discrimitive Learning Rate)을 의미하고오른쪽은 학습이 진행($t$가 증가)될수록 학습률이 초기엔 증가하다..

Overfit이란ML에서 모델이 주어진 훈련데이터에 너무 과하게 적응(adapt) 하여Training dataset에서는 매우 좋은 성능을 보이지만,Unseen data (= validation/test set)에서는 성능이 급격히 떨어지는 현상 을 의미함.Model이 Training dataset에 지나치게 맞추어져서 generalization performance가 떨어지는 경우임.Bias–Variance 관점Overfit의 경우,Training dataset에서는 performance measure가 매우 좋기 때문에 bias가 매우 낮고,대신 variance가 매우 커지는 특징을 보임.즉,bias 낮음 = training 성능은 좋다variance 높음 = 데이터 샘플이 조금만 바뀌어도 예측 결과..

명칭의 유래Ridge: "산등성이" 또는 "융기"를 의미하는 영어 단어L2-Regularization Term 추가 시 loss function의 contour가 융기된 형태로 변형되는 데에서 유래됨.역사적 배경Tikhonov regularization (1963)과 수학적으로 동일개발 시기:1943년: Andrey Tikhonov가 ***관측값이 조금 변했을 때 복원된 해가 크게 변하지 않는다*** 는 inverse mapping(역사상)의 안정성 문제를 다루면서 Tikhonov regularization의 이론적 출발점을 제시 1963년: Andrey Tikhonov가 ill-posed 문제 해결용 regularization(정규화로도 번역되나 개인적으론 정칙화를 선호) 방법 개발1970년: Hoer..

Regularization 이란?기계 학습과 딥러닝에서 Regularization은 모델이 overfitting(과적합)되지 않도록 도와주는 기법을 의미함.Overfitting(과적합)은 모델이 훈련 데이터에 너무 잘 맞아 새로운 데이터에 대해 일반화(generalization)가 잘되지 않는 상황을 의미함.Regularization을 통해 모델의 Degree of Freedom(자유도), 즉 모델이 표현할 수 있는 복잡성을 제어해 일반화 성능을 높일 수 있음.2025.11.20 - [Programming/ML] - Overfitting (과적합) Overfitting (과적합)Overfit이란ML에서 모델이 주어진 훈련데이터에 너무 과하게 적응(adapt) 하여Training dataset에서는 매우 ..