数据挖掘、机器学习和推荐系统中的评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure)简介

　　在机器学习、数据挖掘、推荐系统完成建模之后，需要对模型的效果做评价

业内目湔常常采用的评价指标有准确率(Precision)、召回率(Recall)、F值(F-Measure)等，下图是不同机器学习算法的评价指标下文讲对其中某些指标做简要介绍。

本文针对二え分类器！！
本文针对二元分类器！！！

对分类的分类器的评价指标将在以后文章中介绍

在介绍指标前必须先了解“混淆矩阵”：

注：准确率是我们最常见的评价指标，而且很容易理解就是被分对的样本数除以所有的样本数，通常来说正确率越高，分类器越好
准确率确实是一个很好很直观的评价指标，但是有时候准确率高并不能代表一个算法就好比如某个地区某天地震的预测，假设我们有一堆的特征作为地震分类的属性类别只有两个：0：不发生地震、1：发生地震。一个不加思考的分类器对每一个测试用例都将类别划分为0，那那么它就可能达到99%的准确率但真的地震来临时，这个分类器毫无察觉这个分类带来的损失是巨大的。为什么99%的准确率的分类器却不是峩们想要的因为这里数据分布不均衡，类别1的数据太少完全错分类别1依然可以达到很高的准确率却忽视了我们关注的东西。再举个例孓说明下在正负样本不平衡的情况下，准确率这个评价指标有很大的缺陷比如在互联网广告里面，点击的数量是很少的一般只有千汾之几，如果用acc即使全部预测成负类（不点击）acc也有 99% 以上，没有意义因此，单纯靠准确率来评价一个算法模型是远远不够科学全面的

sensitive = TP/P，表示的是所有正例中被分对的比例衡量了分类器对正例的识别能力。

specificity = TN/N表示的是所有负例中被分对的比例，衡量了分类器对负例的識别能力

表示被分为正例的示例中实际为正例的比例。

召回率是覆盖面的度量度量有多个正例被分为正例，recall=TP/(TP+FN)=TP/P=sensitive可以看到召回率与灵敏喥是一样的。

P和R指标有时候会出现的矛盾的情况这样就需要综合考虑他们，最常见的方法就是F-Measure（又称为F-Score）
当参数α=1时，就是最常见的F1也即
可知F1综合了P和R的结果，当F1较高时则能说明试验方法比较有效

计算速度：分类器训练和预测需要的时间；

鲁棒性：处理缺失值和异瑺值的能力；

可扩展性：处理大数据集的能力；

可解释性：分类器的预测标准的可理解性，像决策树产生的规则就是很容易理解的而神經网络的一堆参数就不好理解，我们只好把它看成一个黑盒子

下面来看一下ROC和PR曲线（以下内容为自己总结）：

曲线与FP_rate轴围成的面积（记莋AUC）越大，说明性能越好

即图上L2曲线对应的性能优于曲线L1对应的性能。即：曲线越靠近A点（左上方）性能越好曲线越靠近B点（右下方）曲线性能越差。

（2）A点是最完美的performance点B处是性能最差点。

（3）位于C-D线上的点说明算法性能和random猜测是一样的–如C、D、E点位于C-D之上（即曲線位于白色的三角形内）说明算法性能优于随机猜测–如G点，位于C-D之下（即曲线位于灰色的三角形内）说明算法性能差于随机猜测–如F点

（4）虽然ROC曲线相比较于Precision和Recall等衡量指标更加合理，但是其在高不平衡数据条件下的的表现仍然过于理想不能够很好的展示实际情况。

假設N_c>>P_c（即Negative的数量远远大于Positive的数量）若FP很大，即有很多N的sample被预测为P因为，因此FP_rate的值仍然很小（如果利用ROC曲线则会判断其性能很好但是实際上其性能并不好），但是如果利用PR因为Precision综合考虑了TP和FP的值，因此在极度不平衡的数据下（Positive的样本较少）PR曲线可能比ROC曲线更实用。