HalfNormal distribution(반정규분포)은평균이 0인 Normal distribution에서 음수 값을 제거한 뒤,남은 확률밀도를 다시 정규화하여 만든 확률분포.가능한 값은 항상 0 이상이며,standard deviation(표준편차)와 같이 음수가 될 수 없는 parameter(모수)를 표현하는 데 널리 사용됨.(PyMC 등의 MCMC 기반 Bayesian framework 에서 prior distribution으로 자주 사용됨.)정규분포에서 HalfNormal 분포로mean, $\mu=0$ 이고 standard deviation 이 $\sigma$인 normal distirbution 은 다음과 같이 표기됨:$$Z \sim \mathcal{N}(0,\sigma^2)$$Normal dis..

DropPath와 Stochastic Depth는학습 중 residual branch 또는 계산 경로 전체를 확률적으로 제거하여 특정 경로에 대한 의존성을 줄이는 regularization 기법임.현재 timm, Hugging Face Transformers 및 여러 vision model 구현에서는DropPath를 per-sample Stochastic Depth와 거의 같은 의미로 사용함.timm의 DropPath 구현도 코드 주석에서 이를 명시적으로 per-sample stochastic depth라고 설명2024.10.27 - [Programming/ML] - [ML] Regularization [ML] RegularizationRegularization 이란?기계 학습과 딥러닝에서 Regular..

Optimism-corrected accuracy는bootstrap sampling을 통해resubstitution accuracy에 포함된 낙관적 bias를추정하고 보정한 accuracy임.여기서 optimism은 다음을 의미함.model이 학습에 사용한 data에서 평가될 때, 실제 일반화 성능보다 성능이 좋게 나오는 정도 즉, training data에서 다시 평가한 성능은 보통 실제 성능보다 높게 나온다. 이를 apparent performance 또는 resubstitution performance라고 부른다. 이 외의 bootstrap에서 사용되는 metrics에 대해선 다음을 참고:2026.04.14 - [Programming/ML] - Bootstrap Sampling 기반 Accuracy..

Balanced Accuracy(균형 정확도) 는class imbalance(클래스 불균형) 가 있는 classification(분류) 문제에서 사용하는evaluation metric(평가지표)임.Ordinary Accuracy일반적인 Accuracy(정확도) 는 전체 sample 중 맞춘 비율임.$$\text{Accuracy} = \frac{\text{맞춘 sample 수}}{\text{전체 sample 수}}$$ 하지만,특정 class의 sample 수가 매우 많으면,model(모델)이 majority class(다수 클래스)만 잘 맞춰도accuracy가 높게 나올 수 있음.Balanced Accuray앞서의 class imbalance 에서의 일반 accuracy가 가지는 문제점을 극복하기 위해각 ..

[BFGS]BFGS(Broyden-Fletcher-Goldfarb-Shanno algorithm)는 대표적인 Quasi-Newton method(준-뉴턴 방법) 중 하나임.고차원 문제에서는 L-BFGS가 더 많이 사용됨L-BFGS 는 BFGS가 전체 matrix를 메모리에 적재하는 것을 개선한 버전으로 주로 많이 이용됨(L= Limited-meory) 더보기BFGS는 1970년에 4명의 연구자 (Broyden-Fletcher-Goldfarb-Shanno 가 독립적으로 서로 다른 방식의 접근을 통해 동일한 업데이트식을 도출해 낸 걸로 유명한 알고리즘. 이들 4명의 연구자들의 이름을 따서 BFGS 가 됨. 당시 널리 사용되던 DFP(Davidon-Fletcher-Powell) 방법의 단점을 보완하기 위해 개..

0. Linear Regression 분류Linear Regression ├── 1. Error model 기준 │ ├── OLS 계열 │ │ ├── X: fixed or error-free │ │ ├── y: noise 있음 │ │ └── $\text{Var}(\varepsilon) = \sigma^2\mathbf{I}$│ │ │ ├── WLS 계열 │ │ ├── X: fixed or error-free │ │ ├── y: n..