机器学习中的混淆矩阵是什么？模型评估工具详解

更新于 2026-02-05

Nisha Arya Ahmed 2024-11-10

了解混淆矩阵如何将模型预测划分为真正例（True Positives）、假正例（False Positives）、真负例（True Negatives）和假负例（False Negatives）。继续阅读，深入理解其结构、计算步骤，以及在处理不平衡数据和错误分析中的应用。

2023年是数据科学领域创新的一年，人工智能和机器学习频频登上新闻头条。尽管我们在2023年取得了毋庸置疑的进步，但必须认识到，这些机器学习领域的进展之所以成为可能，很大程度上归功于对模型进行的正确评估流程。数据从业者肩负着确保准确评估和执行模型性能度量过程的责任——这不仅有益，而且至关重要。

如果你希望掌握数据科学的精髓，本文将引导你通过混淆矩阵这一相对简单却功能强大的工具，完成模型评估的关键步骤。

那么，让我们深入探讨混淆矩阵吧！

什么是混淆矩阵？

混淆矩阵是一种用于评估模型性能的工具，以表格形式直观呈现。它为数据从业者提供了关于模型性能、错误和弱点的更深层次洞察，从而支持对模型进行进一步的微调与分析。

混淆矩阵的结构

让我们通过一个识别电子邮件是否为垃圾邮件的例子，来了解混淆矩阵的基本结构：

  • 真正例（True Positive, TP）：你的模型预测为正类，并且预测正确。例如，将一封垃圾邮件识别为垃圾邮件。
  • 真负例（True Negative, TN）：你的模型正确预测为负类。例如，将一封正常邮件识别为非垃圾邮件。
  • 假正例（False Positive, FP）：你的模型错误地预测为正类。例如，将一封正常邮件误判为垃圾邮件。
  • 假负例（False Negative, FN）：你的模型错误地预测为负类。例如，将一封垃圾邮件误判为正常邮件。

要真正掌握混淆矩阵的概念，请参考下方的可视化图示：

image 混淆矩阵的基本结构

混淆矩阵术语

要深入理解混淆矩阵，必须掌握用于衡量模型性能的重要指标。

以下是关键指标的定义：

准确率（Accuracy）

准确率衡量的是所有正确分类的数量占总样本数的比例。

Accuracy=TP+TNTP+TN+FP+FNAccuracy = \frac{TP + TN}{TP + TN + FP +FN}

召回率 / 灵敏度（Recall / Sensitivity）

召回率衡量的是真正例数量占实际正例总数的比例。

Recall=TPTP+FNorTrue PositiveActual ResultsRecall = \frac{TP}{TP + FN} \quad or \quad \frac{\text{True Positive}}{\text{Actual Results}}

精确率（Precision）

精确率衡量的是真正例数量占模型预测为正例总数的比例。

Precision=TPTP+FPorTrue PositivePredictive ResultsPrecision = \frac{TP}{TP + FP} \quad or \quad \frac{\text{True Positive}}{\text{Predictive Results}}

特异度（Specificity）

特异度衡量的是真负例数量占实际负例总数的比例。

Specificity=TNTN+FPSpecificity = \frac{TN}{TN + FP}

F1 分数（F1 Score）

F1 分数是精确率和召回率的调和平均值，是一个综合指标。

F1 Score=2×Recall×PrecisionRecall+Precision\text{F1 Score} = \frac{2 \times Recall \times Precision}{Recall + Precision}

混淆矩阵的作用

为了更好地理解混淆矩阵，你必须明白它的目的以及为何被广泛使用。

在衡量模型性能（或任何事物）时，人们通常关注准确率。然而，过度依赖准确率这一单一指标可能导致错误决策。为说明这一点，我们将探讨仅使用准确率作为评估指标的局限性。

仅使用准确率作为单一指标的局限性

如前所述，准确率衡量的是所有正确分类的数量占总样本数的比例。然而，单独使用该指标存在以下局限：

  • 处理不平衡数据时的问题：现实中的数据从来都不是完美的，使用准确率指标时必须评估其预测能力。例如，在一个类别远多于另一个类别的数据集中，模型会倾向于预测多数类，从而获得较高的准确率，但这并不能反映其对少数类的真实识别能力。
  • 错误类型未被区分：在特定应用场景中，理解并分析模型的具体表现有助于微调和提升其性能。例如，通过混淆矩阵区分假正例（FP）和假负例（FN），可以揭示模型的局限性。

正是由于这些局限性，混淆矩阵结合多种评估指标，能够提供更细致的洞察，从而指导如何改进模型性能。

混淆矩阵的优势

如混淆矩阵基本结构所示，预测结果被细分为四类：真正例（TP）、真负例（TN）、假正例（FP）和假负例（FN）。

这种详细划分提供了宝贵的洞见和改进模型性能的解决方案：

  • 解决不平衡数据问题：如前所述，单独使用准确率在面对不平衡数据时存在缺陷。而使用其他指标（如精确率和召回率）则能提供更均衡、更真实的模型表现视图。例如，在金融等行业，假正例和假负例可能带来严重后果。
  • 区分错误类型：理解机器学习模型产生的不同类型错误，有助于识别其局限性和改进方向。
  • 权衡取舍（Trade-offs）：混淆矩阵中不同指标之间存在权衡关系，这一点至关重要。例如，提高精确率通常会导致召回率下降。这种相互影响的关系可指导你根据具体业务需求优化模型性能。

混淆矩阵的计算

现在我们已经对混淆矩阵的基本结构、术语及其用途有了良好理解，接下来将手动计算一个混淆矩阵，并通过一个实际例子加以说明。

手动计算混淆矩阵

以下是手动计算混淆矩阵的分步指南：

  1. 定义结果类别
    首先，确定任务的两个可能结果：正类（Positive）或负类（Negative）。

  2. 收集预测结果
    定义好结果类别后，下一步是收集模型的所有预测结果，包括模型对每个类别的预测次数及其实际发生情况。

  3. 分类结果
    收集完所有预测后，将结果归入以下四类：

    • 真正例（TP）
    • 真负例（TN）
    • 假正例（FP）
    • 假负例（FN）

  4. 构建矩阵
    将分类后的结果以矩阵表格形式呈现，以便后续使用各种指标进行分析。

混淆矩阵的实际示例

让我们通过一个实际例子来演示这一过程。

继续使用识别电子邮件是否为垃圾邮件的例子，假设“垃圾邮件”为正类，“非垃圾邮件”为负类。我们有如下假设数据：

  • 在200封邮件中，有80封实际上是垃圾邮件，模型正确识别了其中60封为垃圾邮件（TP）。
  • 在200封邮件中，有120封是非垃圾邮件，模型正确识别了其中100封为非垃圾邮件（TN）。
  • 在200封邮件中，模型错误地将20封非垃圾邮件识别为垃圾邮件（FP）。
  • 在200封邮件中，模型漏掉了20封垃圾邮件，将其识别为非垃圾邮件（FN）。

此时，我们已经定义了结果并收集了数据；下一步是将结果归入四类：

  • 真正例（TP）：60
  • 真负例（TN）：100
  • 假正例（FP）：20
  • 假负例（FN）：20

下一步是将其整理为混淆矩阵：

实际 \ 预测 垃圾邮件（正类） 非垃圾邮件（负类）
垃圾邮件（正类） 60 (TP) 20 (FN)
非垃圾邮件（负类） 20 (FP) 100 (TN)

那么，这个混淆矩阵告诉我们什么？

  • 真正例和真负例表示准确的预测。
  • 假正例表示模型错误地将负类预测为正类。
  • 假负例表示模型未能识别出正类。

利用该混淆矩阵，我们可以计算出各项指标：准确率、召回率/灵敏度、精确率、特异度和 F1 分数。

image

混淆矩阵指标计算结果

精确率 vs. 召回率

你可能会疑惑，为什么 F1 分数的公式中同时包含精确率和召回率。F1 分数在处理不平衡数据或需要平衡精确率与召回率之间的权衡时尤为关键。

  • 精确率衡量的是正类预测的准确性。它回答的问题是：“当模型预测为‘正类’时，有多少次是正确的？” 当假正例的代价很高时，精确率尤为重要。
  • **召回率（或灵敏度）**衡量的是模型正确识别出的实际正例比例。它回答的问题是：“当实际类别为‘正类’时，模型有多少次正确识别出来了？” 当漏掉一个正例（即假负例）的后果远比误判负例为正例更严重时，召回率就变得至关重要。

精确率的应用场景

假正例可能带来严重后果。例如，金融领域中的分类模型若错误地将一笔正常交易标记为欺诈交易，可能引发客户投诉甚至法律纠纷。在这种情况下，精确率是关键指标。

召回率的应用场景

识别出所有正例可能是至关重要的。例如，在医疗领域，分类模型若未能正确诊断出疾病（即产生假负例），可能导致患者错过最佳治疗时机，后果可能是致命的。在这种必须尽可能识别所有正例的场景中，召回率至关重要。

使用 Python 中的 Scikit-learn 构建混淆矩阵

为了更直观地理解，我们使用 Python 的 Scikit-learn 库，通过一个随机森林分类器来创建混淆矩阵。

第一步是导入所需库并构建合成数据集：

# 导入库
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import confusion_matrix
import matplotlib.pyplot as plt
import seaborn as sns

# 合成数据集
X, y = make_classification(n_samples=1000, n_features=20,
                           n_classes=2, random_state=42)

# 划分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

下一步是使用简单的随机森林分类器训练模型：

# 训练模型
model = RandomForestClassifier(random_state=42)
model.fit(X_train, y_train)

正如我们在实际示例中所做的那样，我们需要对结果进行分类并生成混淆矩阵。首先对测试数据进行预测，然后生成混淆矩阵：

# 对测试数据进行预测
y_pred = model.predict(X_test)

# 生成混淆矩阵
cm = confusion_matrix(y_test, y_pred)

现在，我们希望生成混淆矩阵的可视化图像：

# 创建混淆矩阵热力图
plt.figure(figsize=(8, 8))
sns.heatmap(cm, annot=True, fmt='d', cmap='Greens')
plt.title('混淆矩阵')
plt.ylabel('真实标签')
plt.xlabel('预测标签')
plt.show()

这是输出结果： image

随机森林混淆矩阵输出

🎉 恭喜！你已成功使用 Scikit-learn 创建了你的第一个混淆矩阵！

结论

在本文中，我们探讨了混淆矩阵的定义、围绕该评估工具的重要术语，以及不同指标的局限性和重要性。能够手动计算混淆矩阵是数据科学知识体系中的重要一环，同时也要掌握如何使用 Scikit-learn 等库来实现它。无论你是初学者还是经验丰富的从业者，理解和运用混淆矩阵都是提升模型评估能力的关键一步。