evaluation/docs/yolov8s_evaluation.md

YOLOv8s 性能批量评估示例

概述

本项目展示 YOLOv8s 通过 Netrans 量化后的性能评估实现方案。基于 YOLOv8s 模型，在 Netrans 工具下进行量化，测试将量化后的 NBG 文件部署到板卡，替换 YOLOv8 的推理部分，通过 mAP50 指标评估量化效果。

基准参考： PC 端运行 yolov8s.onnx 的 mAP50 为 0.773（COCO128 数据集，128 张图片）

---

评估指标

指标	说明
P (Precision)	精确率
R (Recall)	召回率
mAP50	IoU 阈值为 0.5 时的平均检测精度，综合衡量 P 和 R，值越高模型整体性能越好
mAP50-95	不同 IoU 阈值（0.5-0.95）下的综合性能，阈值越高要求定位越精准

---

环境搭建

步骤 1：下载 YOLOv8 并安装依赖

cd ~/wsp
mamba activate netrans
git clone https://github.com/ultralytics/ultralytics.git
pip install ultralytics

步骤 2：下载 evaluation 项目并安装依赖

cd ~/wsp/ultralytics/ultralytics
git clone https://gitlink.org.cn/nudt_dsp/evaluation.git
pip install websockets jsonrpcclient

步骤 3：移动验证脚本到工作目录

mv ~/wsp/ultralytics/ultralytics/evaluation/src/validator.py ~/wsp/ultralytics/ultralytics/engine/

---

执行评估

步骤 1：安装修改后的源码

pip install .

步骤 2：运行评估

脚本会自动下载 COCO128 数据集到 ~/wsp 目录：

cd ~/wsp/ultralytics
yolo val detect data=ultralytics/cfg/datasets/coco128.yaml model=ultralytics/evaluation/resource/yolov8s/yolov8s.onnx

结果保存在 ~/wsp/ultralytics/runs/detect 目录下。

---

评估结果

Class     Images  Instances      P          R      mAP50    mAP50-95
all        128        929      0.718      0.51    0.651     0.477

---

作者：liangliangou