分类方法的评估指标体系

    

    在进行分类方法评估时,常用的分类方法评估指标有准确度、F－Measure值、平均绝对误差、AUC等。考虑到对分类方法评估的科学性、全面性和客观性,通过专家咨询和综合领域知识、专家经验,我们还选用了其他六个经典的评价指标,共十个指标,定义如下:

    (1)准确度(ACC):是指测试集中被正确分类的百分率,是最广泛使用的分类评估指标之一。

    

    (2)真正率(TPR):是指被正确划分的正类样本数的百分率,也称为灵敏度指标。

    

    (3)真负率(TNR):TN是指被正确划分的正类样本的数量,FP是指负类样本被划分为正类样本的数量,则TNR表示的是分类器能够识别负类样本的能力,也称为特异性指标。

    

    (4)Precision:是指被划分为易错数据中实际数据中多少为真正的易错数据。

    

    (5)F－Measure值:最早用来评价信息检索的效果,度量的是分类器的查全率和查准率的调和平均数。

    

    (6)AUC:是指ROC Area Underthe Curve曲线下的面积。面积越大,分类器就越好。

    (7)平均绝对误差(MAE):度量的是分类器的预测值和实际值之间的偏离程度。其中,P(i,j)表示的是第i个样本被预测为第j个类别的概率。平均绝对误差取值范围为［0,1］。

    

    (8)Kappa统计指标(Kaps):度量的是分类学习中各子分类器的相似性。

    

    其中,P(A)是分类器的预测准确度。

    (9)训练时间:分类方法在训练集上训练数据时,得到预测模型所需要花费的时间。

    (10)测试时间:分类方法在对一组测试数据集进行分类预测时,所需要花费的时间。