Underfit이란ML 모델이 주어진 훈련데이터를 제대로 학습하지 못하여 Training dataset에서도 나쁜 performance를 보이는 경우를 가르킴. Underfit의 경우 훈련데이터에서도 performance measure의 결과가 매우 나쁘게 나오기 때문에 훈련데이터에서 bias가 매우 크고, 대신 모델의 variance는 작은 특징을 보임.bais 높다 = performance 가 나쁘다variance가 낮은 이유는, 워낙 performance가 나쁘기 때문에 어떤 dataset에서도 일관되게 낮은 performance를 보이기때문임.발생원인Data의 features가 task를 해결하기 위한 정보가 부족한 경우 (non-representative data),Model의 가설공간이 tas..

SummarySupport vector machine 은 classifier 의 한 유형 : (regression도 가능함).Support vector 만을 사용하여 분류의 기준인 hyperplane 이 계산되어지기 때문에 Support vector machine이라는 이름이 유래됨.Machine 은 vector 형태의 입력을 통해 decision (클래스의 분류)을 하는 의사결정머신 이라는 점에 착안.Support vector 를 이용하여 generalization error 를 최소화하는 classifier 를 만들 수 있음.가장 우수한 supervised learning algorithm 중 하나로 꼽힘.단, (Kernel)SVM 의 성능은 hyper-parameter ($C$, $\gamma$) ..

Ordinary Least Squares : OLS, 최소자승법Solution을 구할 수 없는 Over-determined system에서 solution의 approximation을 구하는 가장 기본적인 방법임.Machine Learning에서 Supervised Learning의 대표적인 task인 Regression을 해결하는 가장 간단한 알고리즘(ordinary)임.input과 output의 linear relation을 파악한다 (비선형도 features를 추가하는 방식으로 확장이 가능하긴함)Over-determined SystemOver-deterrmined system은 linear system (연립방정식)에서 지나치게 equation(식)이 많아서 모든 식을 만족하는 solution이 없..