马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有账号?立即注册
×
目标检测是盘算机视觉中的紧张任务,重要目标是在图像中辨认并定位特定的物体。YOLO(You Only Look Once)系列模子作为目标检测范畴的代表性方法之一,依附其高效和准确的特点,广泛应用于现实场景中。本文通过详细先容目标检测的性能指标及其盘算方法,资助读者更好地明白和评估YOLO系列模子的体现。
一、目标检测性能指标先容
在 目标检测 任务中,常用的性能指标重要包罗 检测精度指标 和 检测速率指标。
1. 检测精度指标
检测精度指标 重要有以下几种:
中文名称英文名称简称意义准确率 (查准率)PrecisionPrecision评估模子猜测的准禁绝,在全部被猜测为正样本的数据中,现实为正样本的比例。召回率(查全率)RecallRecall评估模子找的全不全,在全部现实为正样本的数据中,被准确猜测为正样本的比例。F1 scoreF1 scoreF1 score准确率和召回率的调和均匀数,用于综合评估模子的准确性和召回本领。交并比Intersection over UnionIOU衡量猜测框和真实框重叠水平,交集面积与并集面积的比值。准确率-召回率曲线Precision-Recall curveP-R curve通过差别阈值下的准确率和召回率来评估模子性能的曲线。均匀精度Average PrecisionAP准确率-召回率曲线下的面积,用于衡量模子在差别阈值下的团体体现。均匀精度均值mean Average PrecisionmAP全部种别的AP取均匀值,用于衡量多种别检测模子的团体性能。 2. 检测速率指标
检测速率指标 重要有以下几种:
中文名称英文名称简称意义前传耗时Forward Pass TimeForward Pass Time模子从输入图像到输出猜测效果所需的时间。每秒帧数Frames Per SecondFPS模子每秒处理处罚的图像帧数,FPS越高,体现模子速率越快。浮点运算量Floating Point OperationsFLOPS模子在推理过程中所需的浮点运算次数,FLOPS越低,体现模子盘算量越小,速率越快。 二、各性能指标的盘算方法
为了阐明这些指标的盘算方法,我们将举一个形象的例子:
草原上有100头牛,此中60头是公牛,40头是母牛,我们要通过模子辨认出全部公牛。
终极模子猜测效果如下:
- 现实为公牛且被猜测为公牛(TP):50头
- 现实为公牛但被猜测为母牛(FN):10头
- 现实为母牛但被猜测为公牛(FP):5头
- 现实为母牛且被猜测为母牛(TN):35头
在这个例子的根本上,我们来讲授和盘算下面的指标数据。
1. 根本数据与肴杂矩阵
根据上面的实行效果数据,我们将数据转成如下表格:
现实/猜测公牛 (Positive)母牛 (Negative)公牛(True)TP = 50FN = 10母牛(False)FP = 5TN = 35此中举动牛的现实性别,列为猜测出来的效果。
不看横竖标题,只看中心的两行两列:
[TPFNFPTN]=[5010535]\begin{bmatrix} TP&FN\\FP&TN\end{bmatrix}=\begin{bmatrix} 50&10\\5&35\end{bmatrix}[TPFPFNTN]=[5051035]
两行两列的数据构成了一个2x2的矩阵,[TPFNFPTN]\begin{bmatrix} TP&FN\\FP&TN\end{bmatrix}[TPFPFNTN]这个矩阵就叫做 肴杂矩阵。
我们提炼出行和列的首字母缩写,可以得到四个标签,TP、TN、FP、FN,这是目标检测里最根本的概念:
- TP:被模子猜测为正类的正样本
- TN:被模子猜测为负类的负样本
- FP:被模子猜测为正类的负样本
- FN:被模子猜测为负类的正样本
通过这四个样本数据,我们可以盘算出下面各种性能指标。
2. 准确率与召回率
① 准确率 (Precision)
准确率,又叫 查准率,评估的是模子猜测的准禁绝,在全部被猜测为正样本(公牛)的数据中,现实为正样本的比例。
公式如下:
Precision=TPTP+FPPrecision=\frac{TP}{TP+FP}Precision=TP+FPTP
代入数据盘算:
Precision=5050+5=5055≈0.909Precision=\frac{50}{50+5}=\frac{50}{55}≈0.909Precision=50+550=5550≈0.909
即 准确率 约为0.909。
② 召回率 (Recall)
召回率,又叫 查全率,评估的是模子找的全不全,在全部现实为正样本(公牛)的数据中,被准确猜测为正样本的比例。
公式如下:
Recall=TPTP+FNRecall=\frac{TP}{TP+FN}Recall=TP+FNTP
代入数据盘算:
Recall=5050+10=5060≈0.833Recall=\frac{50}{50+10}=\frac{50}{60}≈0.833Recall=50+1050=6050≈0.833
即 召回率 约为0.833。
3. F1 score
通常我们使用 Precision 和 Recall 两个指标来衡量模子的优劣,为了同时衡量这两个量,我们选用 F1 score 来将这两个量组合,也就是 F1 score。
F1 score (又称 F score, F measure) 是准确率和召回率的调和均匀数,用于综合评估模子的准确性和召回本领。
F1 score 的盘算公式如下:
F1 score=21Precision+1Recall=2×Precision×RecallPrecision+Recallscore=\frac{2}{\frac{1}{Precision}+\frac{1}{Recall}}=2×\frac{Precision×Recall}{Precision+Recall}score=Precision1+Recall12=2×Precision+RecallPrecision×Recall
代入数据盘算:
F1 score=2×0.909×0.8330.909+0.833score=2×\frac{0.909×0.833}{0.909+0.833}score=2×0.909+0.8330.909×0.833 ≈ score=2×0.7581.742score=2×\frac{0.758}{1.742}score=2×1.7420.758 ≈ 0.870
即 F1 score 为0.870。
4. IOU交并比
IOU (Intersection over Union) 是衡量猜测框和真实框重叠水平的指标。
数学公式表达为:IoU(A,B)=A∩BA∪BIoU(A, B) =\frac{A ∩ B}{A ∪ B}IoU(A,B)=A∪BA∩B
在目标检测里,我们可以数形联合,体现为:
IOU=猜测框与真实框的交集面积猜测框与真实框的并集面积IOU=\frac{猜测框与真实框的交集面积}{猜测框与真实框的并集面积}IOU=猜测框与真实框的并集面积猜测框与真实框的交集面积
假设某次目标检测效果如图所示:
原目标(真实框)为 Object 范围,检测到的效果(猜测框)为 Result 范围,此中 Object 与 Result 重合面积为40,二者有累计10的未重合面积。由图易得,本次检测中猜测框和真实框的交集面积为40,猜测框和真实框的并集面积为50,
代入数据盘算:
IOU=4050=0.8IOU=\frac{40}{50}=0.8IOU=5040=0.8
即 IOU 为0.8。
IOU 的值位于0-1之间,IOU 为1意味着猜测界限框和地面真实界限框完全重叠。
通常,我们须要为 IOU 设置阈值,以确定对象检测是否有用。
假设我们将 IOU 阈值设置为 0.5,在这种环境下:
如果 IOU >= 0.5,则将目标检测归类为 True Positive (TP);
如果 IOU < 0.5,则为错误检测,并将其归类为 False Negative (FP);
5. P-R曲线
假设在差别阈值下得到以下 准确率 和 召回率:
阈值准确率召回率0.50.9090.8330.60.9200.8000.70.9300.7500.80.9400.7000.90.9500.6501.00.9600.600我们根据这组数据绘制横坐标为 Recall、纵坐标为 Precision 的折线图。
这个折线图就叫做 P-R曲线 (Precision-Recall Curve)。
P-R曲线 是通过差别 阈值 下的 准确率 和 召回率 来评估模子性能的曲线,展示了差别 阈值 下 准确率 和 召回率 的关系。
6. AP和mAP
① AP (Average Precision)
AP 是P-R曲线下的面积,用于衡量模子在差别阈值下的团体体现。
常用的盘算方式包罗:
- 11点盘算法 (11-point Interpolation):在 Recall 的每个固定点(0.0, 0.1, 0.2, …, 1.0)上最大精度的均匀值。
- 全部点的均匀值:对全部数据点的精度举行均匀。
11点盘算法 已经渐渐不消了,我们优先使用 全部点均匀值 的盘算方法。
盘算方法为:
AP=∫01Precision(Recall)dRecall≈∑n(Recalln−Recalln−1)PrecisionnAP=\int_0^1Precision(Recall)dRecall≈\sum_n(Recall _n-Recall _{n-1})Precision_nAP=∫01Precision(Recall)dRecall≈∑n(Recalln−Recalln−1)Precisionn
代入数据盘算:
AP=(0.833−0.800)×0.909+(0.800−0.750)×0.920+(0.750−0.700)×0.930+(0.700−0.650)×0.940+(0.650−0.600)×0.950+(0.600−0)×0.960AP = (0.833−0.800)×0.909+(0.800−0.750)×0.920+(0.750−0.700)×0.930+(0.700−0.650)×0.940+(0.650−0.600)×0.950+(0.600−0)×0.960AP=(0.833−0.800)×0.909+(0.800−0.750)×0.920+(0.750−0.700)×0.930+(0.700−0.650)×0.940+(0.650−0.600)×0.950+(0.600−0)×0.960 ≈ 0.0300+0.0460+0.0465+0.0470+0.0475+0.5760=0.7930.0300+0.0460+0.0465+0.0470+0.0475+0.5760=0.7930.0300+0.0460+0.0465+0.0470+0.0475+0.5760=0.793
即 AP 为0.793。
② mAP (mean Average Precision)
在现实操纵中,我们的目标检测效果通常会受到检测目标种类差别的影响,导致准确度有上下浮动,比如我们对牛的性别辨认,受牛种类影响,同种牛之间特性相似,异种特性差别显着,故差别种类间检测准确度会有差别。
用下面三组差别种类的牛的目标检测实行数据作为示例:
种别AP奶牛0.774肉牛0.793耗牛0.758水牛0.808这时,我们须要一个涵盖各个种类牛的团体的均匀精度,这个均匀精度就是 mAP。
mAP 是对全部种别的 AP 取均匀值,用于衡量多种别检测模子的团体性能。
盘算公式为:
mAP=1n∑i=1nAPimAP=\frac{1}{n}\sum_{i=1}^{n} AP_imAP=n1∑i=1nAPi
代入数据盘算:
mAP=14(0.774+0.793+0.758+0.808)mAP=\frac{1}{4}(0.774+0.793+0.758+0.808)mAP=41(0.774+0.793+0.758+0.808) ≈ 14\frac{1}{4}41 × 3.133 = 0.78325
即 mAP 约为0.783。
③ AP 和 mAP 的比力
AP 和 mAP 区别如下:
指标意义AP衡量的是学习出来的模子在每个种别上的优劣;mAP衡量的是学出的模子在全部种别上的优劣; 7. 检测速率指标
检测速率指标 是评估模子的紧张性能指标之一,影响在实时场景中的 可用性 和 服从。
检测速率指标 通常包罗以下几种:
指标详细先容前传耗时 (Forward Pass Time)前传耗时 (Forward Pass Time) 是指模子从汲取到输入图像到输出猜测效果所需的时间。它是衡量模子处理处罚单张图像服从的紧张指标。前传耗时 越短,意味着模子在现实应用中能更快地做出猜测。假设某模子处理处罚一张图像的 前传耗时 为50毫秒,这表明模子在50毫秒内可以完成一次前向传播并输出效果。在现实应用中,较低的 前传耗时 可以确保更高的相应速率,尤其在须要实时反馈的场景中,比方自动驾驶和视频监控 。每秒帧数 (FPS)每秒帧数 (FPS) 是指模子每秒钟可以或许处理处罚的图像帧数。FPS 是评估模子实时处理处罚本领的紧张指标。假设某模子的 FPS 为20帧每秒,这意味着该模子每秒钟可以处理处罚20张图像。在现实应用中,较高的 FPS 可以确保视频流或一连图像处理处罚的流通性,制止耽误和卡顿征象。对于须要实时处理处罚的任务,如监控 视频分析和实时对象检测,高 FPS 至关紧张。浮点运算量 (FLOPS)浮点运算量 (FLOPS) 是指模子在推理过程中所需的浮点运算次数。FLOPS 是评估模子盘算复杂度的指标之一。假设某模子的 FLOPS 为 1.5 GFLOPS(即15亿次浮点运算),这体现模子在每次推理过程中须要实行15亿次浮点运算。较低的FLOPS通常意味着模子更高效,适当在资源受限的装备上运行,如移动装备或嵌入式体系。在选择模子时,FLOPS 是衡量模子性能与盘算资源的紧张参考因素。前传耗时、每秒帧数 和 浮点运算量 是衡量检测速率的紧张指标。高效的模子应在包管精度的同时,具备较低的前传耗时和 FLOPS,以及较高的 FPS,从而在各种现实应用场景中体现出色。
三、目标检测性能指标总结
在目标检测范畴,准确率、召回率、F1 Score 和 交并比 (IoU) 是最常用的性能评估指标。这些指标资助我们全面明白模子的检测本领。准确率 衡量模子猜测的准确性,召回率 则评估其覆盖全部正样本的本领,F1 Score 在二者之间找到均衡,而 交并比 则详细反映猜测框与真实框的重合水平。通过这些指标,我们不光可以或许确定模子是否可以或许准确辨认目标,还能评估其在差别场景下的现实应用效果。高准确率、高召回率 和 高IoU值 的模子在现实应用中通常体现更加出色。
综合各项性能指标,目标检测模子的优劣不光仅体如今精度和速率上,更紧张的是其在现实应用中的 实用性 和 鲁棒性。一个良好的目标检测模子应在包管 高准确率 和 高召回率 的同时,具备较低的前传耗时和FLOPS,以及较高的FPS,从而在各种实时和复杂环境中体现优秀。随着深度学习技能的不绝进步,未来的目标检测模子将会更加高效和智能,不光可以或许处理处罚更大规模的数据,还能顺应更多元化的应用场景,从而为智能视觉体系的发展带来更广阔的远景。
|