机器学习模型的可靠性和重要性
机器学习(ML)模型的可靠性是评估模型根据其训练数据识别数据集变量间联系和模式能力的关键度量。ML模型能够将其应用扩展到“未见”数据的能力使其能够生成更多的预测和见解，从而增加其市场价值。企业利用ML模型做出知情的商业决策，而一个稳健准确的模型有助于做出更优的选择。虽然错误可能是昂贵的，但提高模型精度可以减少这种成本。然而，存在一个阈值，在此之后提高模型准确性并不转化为利润的相应增长，但改进通常是有利于整体效益的。例如，假阳性癌症诊断的成本影响着医生和患者。提高预测机器的准确性节省时间、资源，并减轻压力。
评估ML模型的可靠性
为了评估一个ML模型的可靠性，主要使用以下三个指标：准确性、精确性和召回率：
- 准确性指的是测试结果中准确预测的比例。
- 精确性表示在某个类别内预测示例中的相关示例或真阳性的百分比。
- 召回率是指实际属于特定类别的所有示例与该类别被正确预测出的示例之间的比率。
关于机器学习模型的准确性，它是通过将正确预测的数量除以预测总数来计算的。正确预测包括真阳性和真阴性，而预测总数则包括真阳性、真阴性、假阳性和假阴性。
然而，当处理表现出正负结果显著差异的不平衡类数据时，机器学习模型的准确性并不总是作为ML模型性能的理想衡量标准。精确性和召回率指标也需要考虑。
ML中预测质量的重要性
机器学习主要涉及基于先前数据对新数据进行推理。这些预测的质量基本上定义了任何机器学习算法的能力。值得注意的是，预测质量的评估并不是在所有机器学习应用中都通用的，这对它的价值和使用有影响。
评估模型准确性的挑战
常用的申请是分类，标准度量是“准确性”。然而，关于如何计算和解释准确性存在相当大的争议。在其他应用中验证性能的有效性更加具有挑战性。
准确性度量的复杂性
评估模型准确性带来了关键的考虑因素，即它是否考虑了错误的严重性。例如，如果剩余5%的错误可能是灾难性的，那么95%的准确性是否可接受？想法是开发一种考虑到严重故障的准确性度量。据Perceive首席执行官Steve Teig称，传统的准确性度量往往依赖于“精确性”和“召回率”的概念。尽管如此，这主要是定量练习。
当类别分布不均匀且算法需要预测个体是否患有某种疾病时，精确性就变得尤为重要。即使模型总是预测个人没有患病，它也可以达到99%的准确性，但这完全无效。当测试其召回率时，模型的缺陷变得明显。
在这种情况下，召回率确保不会忽略患病个体，而AI准确性有助于避免对健康人的错误疾病识别。你不希望ML模型宣布一个无癌个体患有癌症。同样，给出癌症假阴性的模型也是不可取的，这就要求彻底评估模型的精确性和召回率。