DropPath와 Stochastic Depth는학습 중 residual branch 또는 계산 경로 전체를 확률적으로 제거하여 특정 경로에 대한 의존성을 줄이는 regularization 기법임.현재 timm, Hugging Face Transformers 및 여러 vision model 구현에서는DropPath를 per-sample Stochastic Depth와 거의 같은 의미로 사용함.timm의 DropPath 구현도 코드 주석에서 이를 명시적으로 per-sample stochastic depth라고 설명2024.10.27 - [Programming/ML] - [ML] Regularization [ML] RegularizationRegularization 이란?기계 학습과 딥러닝에서 Regular..

명칭의 유래LASSO: Least Absolute Shrinkage and Selection Operator 의 약자이름에서 알 수 있듯이,절대값(absolute value) 기반의shrinkage(축소)와feature selection(특성 선택)을 동시에 수행하는 회귀 기법“Shrinkage”는 weight의 크기를 줄이는 정칙화 효과,“Selection”은 일부 weight를 정확히 0으로 만들어 feature를 제거하는 효과를 의미함역사Tibshirani (1996) 에 의해 제안됨Ridge Regression이 모든 weight를 균일하게 줄이는 것과 달리, Lasso는 일부 weight를 0으로 만들어 희소성(sparsity) 을 유도주로 convex optimization 에서 자주 사용됨...

명칭의 유래Ridge: "산등성이" 또는 "융기"를 의미하는 영어 단어L2-Regularization Term 추가 시 loss function의 contour가 융기된 형태로 변형되는 데에서 유래됨.역사적 배경Tikhonov regularization (1963)과 수학적으로 동일개발 시기:1943년: Andrey Tikhonov가 ***관측값이 조금 변했을 때 복원된 해가 크게 변하지 않는다*** 는 inverse mapping(역사상)의 안정성 문제를 다루면서 Tikhonov regularization의 이론적 출발점을 제시 1963년: Andrey Tikhonov가 ill-posed 문제 해결용 regularization(정규화로도 번역되나 개인적으론 정칙화를 선호) 방법 개발1970년: Hoer..

Regularization 이란?기계 학습과 딥러닝에서 Regularization은 모델이 overfitting(과적합)되지 않도록 도와주는 기법을 의미함.Overfitting(과적합)은 모델이 훈련 데이터에 너무 잘 맞아 새로운 데이터에 대해 일반화(generalization)가 잘되지 않는 상황을 의미함.Regularization을 통해 모델의 Degree of Freedom(자유도), 즉 모델이 표현할 수 있는 복잡성을 제어해 일반화 성능을 높일 수 있음.2025.11.20 - [Programming/ML] - Overfitting (과적합) Overfitting (과적합)Overfit이란ML에서 모델이 주어진 훈련데이터에 너무 과하게 적응(adapt) 하여Training dataset에서는 매우 ..

"well-posed" matrix and "well-conditioned" matrix$A\textbf{x}=\textbf{b}$와 같은 Linear System (연립방정식)에서 system matrix $A$가 invertible하다면 해당 linear system(달리 말하면 연립방정식)이 well-posed라고 할 수 있다.하지만, 해당 matrix가 "일부 item의 약간의 변화" 또는 "$\text{b}$에서의 약간의 변화" 등에 solution이 지나치게 큰 변화를 보이는 "민감성"을 가질 수 있다.이같은 경우 ideal하게는 solution이 존재하더라도,실제로 linear system을 풀 때 적용한 수치해석적 방법의 한계 나 matrix를 만들 때 피할 수 없는 noise등 의 영향이..