跳转至

以下内容由AI生成

模型可解释性：SHAP

在机器学习领域，模型的可解释性变得越来越重要。随着复杂模型（如深度学习和集成方法）的广泛应用，理解模型的决策过程变得更加困难。然而，在许多应用场景中，了解模型如何做出决策是至关重要的，特别是在医疗、金融和法律等领域。

壹丨什么是SHAP

SHAP是一种基于Shapley值的解释方法。Shapley值最初来自合作博弈论，用于公平地分配合作收益。将其应用于机器学习，Shapley值可以衡量每个特征对模型预测的贡献。SHAP通过计算每个特征的Shapley值，提供了一种一致且公平的方式来解释模型的预测。

1. SHAP的优点

  1. 一致性：SHAP保证了特征的重要性的一致性。如果一个特征对模型的贡献增加，那么它的SHAP值也会增加。
  2. 局部解释：SHAP不仅可以提供全局特征重要性，还可以为每个单独的预测提供局部解释。
  3. 模型无关性：SHAP可以应用于任何机器学习模型，无论是线性模型、树模型还是神经网络。

2. 安装

rye add shap

贰丨简单使用

训练模型

我们使用CatBoost模型进行训练：

import catboost as cb
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

# 加载数据
data = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2, random_state=42)

# 训练CatBoost模型
model = cb.CatBoostClassifier(iterations=100, learning_rate=0.1, depth=6, verbose=0)
model.fit(X_train, y_train)

计算SHAP值

接下来，我们使用SHAP库计算特征的Shapley值：

import shap

# 创建SHAP解释器
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)

可视化SHAP值

SHAP提供了多种可视化工具，帮助我们理解特征的重要性和影响。以下是几种常用的可视化方法：

1. 特征重要性图

特征重要性图展示了每个特征对模型预测的平均影响：

shap.summary_plot(shap_values, X_test, feature_names=data.feature_names)

2. 决策图

决策图展示了单个样本的特征对预测结果的贡献：

shap.decision_plot(explainer.expected_value, shap_values[0], X_test.iloc[0])

3. 依赖图

依赖图展示了特定特征的SHAP值与其取值之间的关系：

shap.dependence_plot("mean radius", shap_values, X_test, feature_names=data.feature_names)