XAI: Coefficient, Feature importance, and SHAP
·
Programming/ML
XAI는 eXplainable AI의 약어로,AI 모델이 왜 이같은 예측(결과)을 내어놓았는지를 설명하는 기술을 가리킴. 이 글은 XAI에서 사용되는 도구들인coefficient,feature importanceSHAP를 비교 설명함.사실 SHAP를 설명하기 위한 글로,통계분석이나 classic ML의 사용자들에게 익숙한 coefficient와 feautre importance를 통해SHAP의 특징을 설명하는 글임.coefficientcoefficient는 변수에 곱해지는 상수를 가리키는 용어로,ML에선 다음을 의미함:보통 선형모델(linear model), 예를 들어Linear Regression이나Logistic Regression에서변수에 곱해지는 계수를 가리킴 (parameter, weight)...
[ML] Feature Importances for Decision Tree
·
Programming/ML
이 문서는 Feature Importance를 Decision Tree에서 Gini Impurity Measure를 이용하여 계산하는 예제를 보여줌.Tree 예시 (depth = 3) [Root] (X1) [5:5] / \ Node1 Node2 (X2) (X3) [4:1] [1:4] / \ / \Leaf1 Leaf2 Leaf3 Leaf4[3:0] [1:1] [0:2] [1:2]Root 노드는 X1을 사용해 데이터를 분할.Node1은 X2를 사용해 데이터를 다시 분할.Node2는 X3을 사용해 데이터를 다시 분할.단계 1: Gini impurity measure ..