目录 1 混淆矩阵衍生指标 1.1 ROC 1.2 AUC 1.3 K-S 1.4 GINI 1.5 小结 1 混淆矩阵衍生指标 上面提到的ACC、PPV、TPR、FPR等指标，都是对某一给定分类结果的评估，而绝大多数模型都能产生好多份分类结果（通过调整阈值），所以它们的评估是单一的、片面的，并不能全面地评估模型的效果。因此，需要引入新的评估指标...
参考链接：https://www.cnblogs.com/Zhi-Z/p/8728168.html 具体更详细的可以查阅周志华的西瓜书第二章，写的非常详细~ 一、机器学习性能评估指标 1.准确率(Accurary) 准确率是我们最常见的评价指标，而且很容易理解，就是被分对的样本数除以所有的样本数，通常来说，正确率越高，分类器越好。 准确率确实是一个很...
第1章 机器学习概述1.1 机器学习是啥？1.2 机器学习能干啥？1.3 机器学习有啥？1.4 机器学习怎么用？第2章 机器学习的相关概念2.1 数据集2.2 泛化能力2.3 过拟合和欠拟合2.4 维度、特征2.5 模型2.6 学习第3章 算法常用指标3.1 精确率和召回率3.2 TPR、FPR & TNR3.3 综合评价指标 F-measure...
倾向于使用准确率，是因为熟悉它的定义，而不是因为它是评估模型的最佳工具！ 精度（查准率）和召回率（查全率）等指标对衡量机器学习的模型性能是非常基本的，特别是在不平衡分布数据集的案例中，在周志华教授的「西瓜书」中就特别详细地介绍了这些概念。 什么是分布不平衡的数据集？ 倘若某人声称创建了一个能够识别登上飞机的恐怖分子的模型，并且准确...
在一般认知中，用模型对测试集进行分类预测，结果应该是X或者X'（也可以说是或者否）。根据混淆矩阵算出TP、FP、TN、FN，进一步算出TPR、FPR。一个测试集只会有一对TPR/FPR值，那么ROC曲线就只会有一个点，何谈曲线之说？难道是用多个测试集得到多对TPR/FPR值，来绘制ROC曲线吗？实则不然。 ROC曲线，一般适用于分类器输出一个“概率值”，...