명칭의 유래LASSO: Least Absolute Shrinkage and Selection Operator 의 약자이름에서 알 수 있듯이,절대값(absolute value) 기반의shrinkage(축소)와feature selection(특성 선택)을 동시에 수행하는 회귀 기법“Shrinkage”는 weight의 크기를 줄이는 정칙화 효과,“Selection”은 일부 weight를 정확히 0으로 만들어 feature를 제거하는 효과를 의미함역사Tibshirani (1996) 에 의해 제안됨Ridge Regression이 모든 weight를 균일하게 줄이는 것과 달리, Lasso는 일부 weight를 0으로 만들어 희소성(sparsity) 을 유도주로 convex optimization 에서 자주 사용됨...

명칭의 유래Ridge: "산등성이" 또는 "융기"를 의미하는 영어 단어L2-Regularization Term 추가 시 loss function의 contour가 융기된 형태로 변형되는 데에서 유래됨.역사적 배경Tikhonov regularization (1963)과 수학적으로 동일개발 시기:1963년: Andrey Tikhonov가 ill-posed 문제 해결용 regularization(정규화로도 번역되나 개인적으론 정칙화를 선호) 방법 개발1970년: Hoerl과 Kennard가 통계학 맥락에서 독립적으로 재발견분야별 명칭:수치해석: Tikhonov regularization통계학/머신러닝: Ridge regression더보기2022.12.02 - [.../Math] - [Math] ill-pose..

Matrix NormVector의 Norm을 이용한 Matrix의 Norm의 정의는 다음과 같음.$$\|A\|=\underset{\textbf{x}\ne\textbf{0}}{\text{max}} \frac{\|A\textbf{x}\|}{\|\textbf{x}\|}$$$\textbf{x}$ : 임의의 column vector.위의 Matrix의 Norm에 대한 정의로부터 다음이 성립.$$\|A\textbf{x}\|\le\|A\|\|\textbf{x}\|$$ 좀 더 자세히 말하면, 이는 Operator norm (or induced norm)이라고 불리는 것으로 matrix를 linear transform으로 보고 해당 변환이 얼마나 input vector의 norm을 "증가시키는지"를 norm으로 표현함...

Minkowski 거리는L-p Norm의 한 형태두 개의 점 사이의 distance(거리)를 일반화한 metric.distance의 개념은 다음 접은 글을 참고:더보기https://dsaint31.me/mkdocs_site/DIP/cv2/etc/dip_metrics/#distance-function-or-metric BME228Metrics for Image Quality Image restoration의 경우, image degradation의 원인을 modeling하고 해당 model을 통해 ideal image에 가깝게 복원하는 것을 의미함. 주관적인 화질을 개선하는 image enhancement와 달리, image restodsaint31.meL-p Norm 정의:L-p Norm은 vector의..

Scalar오직 magnitude(크기)만을 가지는 물리량.숫자 하나.ndim=0, rank=02024.07.08 - [.../Linear Algebra] - [LA] Rank: Matrix의 속성 [LA] Rank: Matrix의 속성Definition: Rank ◁ matrix 속성The rank of a matrix $A$, denoted by rank $A$,is the dimension of the column space of $A$.Matrix를 이루는 Column Vectors에서 Linearly Independent 인 것들의 수를 의미Row Space의 Dimension 의 경우를 강dsaint31.tistory.com2025.02.03 - [Programming/ML] - [ML] Te..