基于OpenCV的YOLOv5图片检测

利用OpenCV的DNN模块加载onnx模子文件举行图片检测。
1、利用的yolov5工程代码，调用export.py导出onnx模子。
2、下载opencv版本，https://opencv.org/releases/
      利用opencv版本4.5.3或以上，本文利用的opencv4.6.0        

3、利用vc2015编写利用代码。

1. // dnnUseOnnx.cpp : 定义控制台应用程序的入口点。
3. #include <fstream>
4. #include <iostream>
5. #include <string>
6. #include <map>
7. #include <opencv2/opencv.hpp>
9. struct DetectResult
10. {
11.         int classId;
12.         float score;
13.         cv::Rect box;
14. };
16. class YOLOv5Detector
17. {
18. public:
19.         void initConfig(std::string onnxpath, int iw, int ih, float threshold);
20.         void detect(cv::Mat& frame, std::vector<DetectResult>& result);
22. private:
23.         int input_w = 640;
24.         int input_h = 640;
25.         cv::dnn::Net net;
26.         int threshold_score = 0.25;
27. };
29. void YOLOv5Detector::initConfig(std::string onnxpath, int iw, int ih, float threshold)
30. {
31.         this->input_w = iw;
32.         this->input_h = ih;
33.         this->threshold_score = threshold;
34.         try
35.         {
36.                 this->net = cv::dnn::readNetFromONNX(onnxpath);
37.         }
38.         catch (cv::Exception & e) {
39.                 printf("exception %s\n", e.err.c_str());
40.         }
41. }
43. void YOLOv5Detector::detect(cv::Mat& frame, std::vector<DetectResult>& results)
44. {
45.         // 图象预处理 - 格式化操作
46.         int w = frame.cols;
47.         int h = frame.rows;
48.         int _max = std::max(h, w);
49.         cv::Mat image = cv::Mat::zeros(cv::Size(_max, _max), CV_8UC3);
50.         if (frame.channels() == 1)
51.         {
52.                 cv::cvtColor(frame, frame, cv::COLOR_GRAY2BGR);
53.         }
54.         cv::Rect roi(0, 0, w, h);
55.         frame.copyTo(image(roi));
57.         float x_factor = image.cols / 640.0f;
58.         float y_factor = image.rows / 640.0f;
60.         cv::Mat blob = cv::dnn::blobFromImage(image, 1 / 255.0, cv::Size(this->input_w, this->input_h), cv::Scalar(0, 0, 0),
61.                 true, false);
62.         this->net.setInput(blob);
63.         cv::Mat preds = this->net.forward("output0");//outputname，使用Netron看一下输出的名字，一般为output0或者output
64.         //如果preds里有Mat的维数大于2，那么设断点调试的时候，可以看到rows和cols都等于-1，当Mat的dims>2时，想要访问Mat的高和宽，可以通过size属性获取。如下：
65.         printf("output：%d,%d,%d\n", preds.size[0], preds.size[1], preds.size[2]);//打印输出：output：1,25200,85
66.         //YOLOV5的输出1,25200,85如何理解和解析
67.         //1、25200代表着检测框的数量，比如我们取出第一个检测框a，也就是[1,1，85]，取出来之后我们解析85，前五个为box的中点坐标、长宽值以及置信，后面80我们取Max（80个类别）中最大值，类别的处于多少行对应于label class.txt别中的类是哪一类别。
68.         cv::Mat det_output(preds.size[1], preds.size[2], CV_32F, preds.ptr<float>());
70.         float confidence_threshold = 0.5;
71.         std::vector<cv::Rect> boxes;
72.         boxes.clear();
73.         std::vector<int> classIds;
74.         classIds.clear();
75.         std::vector<float> confidences;
76.         confidences.clear();
77.         for (int i = 0; i < det_output.rows; i++)
78.         {
79.                 float confidence = det_output.at<float>(i, 4);
80.                 if (confidence < 0.45)
81.                 {
82.                         continue;
83.                 }
84.                 cv::Mat classes_scores = det_output.row(i).colRange(5, preds.size[2]);//colRange(5, num_class);num_class:最大分类数
85.                 cv::Point classIdPoint;
86.                 double score;
87.                 minMaxLoc(classes_scores, 0, &score, 0, &classIdPoint);
89.                 // 置信度 0～1之间
90.                 if (score > this->threshold_score)
91.                 {
92.                         float cx = det_output.at<float>(i, 0);
93.                         float cy = det_output.at<float>(i, 1);
94.                         float ow = det_output.at<float>(i, 2);
95.                         float oh = det_output.at<float>(i, 3);
96.                         int x = static_cast<int>((cx - 0.5 * ow) * x_factor);
97.                         int y = static_cast<int>((cy - 0.5 * oh) * y_factor);
98.                         int width = static_cast<int>(ow * x_factor);
99.                         int height = static_cast<int>(oh * y_factor);
100.                         cv::Rect box;
101.                         box.x = x;
102.                         box.y = y;
103.                         box.width = width;
104.                         box.height = height;
106.                         boxes.push_back(box);
107.                         classIds.push_back(classIdPoint.x);
108.                         confidences.push_back(score * confidence);
109.                 }
110.         }
112.         // NMS
113.         std::vector<int> indexes;
114.         cv::dnn::NMSBoxes(boxes, confidences, 0.25, 0.45, indexes);
115.         for (size_t i = 0; i < indexes.size(); i++)
116.         {
117.                 DetectResult dr;
118.                 int index = indexes[i];
119.                 int idx = classIds[index];
120.                 dr.box = boxes[index];
121.                 dr.classId = idx;
122.                 dr.score = confidences[index];
123.                 cv::rectangle(frame, boxes[index], cv::Scalar(0, 0, 255), 2, 8);
124.                 cv::rectangle(frame, cv::Point(boxes[index].tl().x, boxes[index].tl().y - 20),
125.                         cv::Point(boxes[index].br().x, boxes[index].tl().y), cv::Scalar(0, 255, 255), -1);
126.                 results.push_back(dr);
127.         }
129.         std::ostringstream ss;
130.         std::vector<double> layersTimings;
131.         double freq = cv::getTickFrequency() / 1000.0;
132.         double time = net.getPerfProfile(layersTimings) / freq;
133.         ss << "FPS: " << 1000 / time << " ; time : " << time << " ms";
134.         putText(frame, ss.str(), cv::Point(20, 40), cv::FONT_HERSHEY_PLAIN, 2.0, cv::Scalar(255, 0, 0), 2, 8);
135. }
137. std::map<int, std::string> classNames = { { 0, "person" },{ 1, "bicycle" },{ 2, "car" },{ 3, "motorcycle" } ,{ 4, "airplane" } ,{ 5, "bus" },{ 6, "train" },{ 7, "truck" },{ 8, "boat" },{ 9, "traffic light" },
138. { 10, "fire hydrant" },{ 11, "stop sign'" },{ 12, "parking meter" },{ 13, "bench" } ,{ 14, "bird" } ,{ 15, "cat" },{ 16, "dog" },{ 17, "horse" },{ 18, "sheep" },{ 19, "cow" },
139. { 20, "elephant" },{ 21, "bear" },{ 22, "zebra" },{ 23, "giraffe" } ,{ 24, "backpack" } ,{ 25, "umbrella" },{ 26, "handbag" },{ 27, "tie" },{ 28, "suitcase" },{ 29, "frisbee" },
140. { 30, "skis" },{ 31, "snowboard" },{ 32, "sports ball" },{ 33, "kite" } ,{ 34, "baseball bat" } ,{ 35, "baseball glove" },{ 36, "skateboard" },{ 37, "surfboard" },{ 38, "tennis racket" },{ 39, "bottle" },
141. { 40, "wine glass" },{ 41, "cup" },{ 42, "fork" },{ 43, "knife" } ,{ 44, "spoon" } ,{ 45, "bowl" },{ 46, "banana" },{ 47, "apple" },{ 48, "sandwich" },{ 49, "orange" },
142. { 50, "broccoli" },{ 51, "carrot" },{ 52, "hot dog" },{ 53, "pizza" } ,{ 54, "donut" } ,{ 55, "cake" },{ 56, "chair" },{ 57, "couch" },{ 58, "potted plant" },{ 59, "bed" },
143. { 60, "dining table" },{ 61, "toilet" },{ 62, "tv" },{ 63, "laptop" } ,{ 64, "mouse" } ,{ 65, "remote" },{ 66, "keyboard" },{ 67, "cell phone" },{ 68, "microwave" },{ 69, "oven" },
144. { 70, "toaster" },{ 71, "sink" },{ 72, "refrigerator" },{ 73, "book" } ,{ 74, "clock" } ,{ 75, "vase" },{ 76, "scissors" },{ 77, "teddy bear" },{ 78, "hair drier" },{ 79, "toothbrush" }
145. };
147. int main(int argc, char* argv[])
148. {
149.         std::shared_ptr<YOLOv5Detector> detector = std::make_shared<YOLOv5Detector>();
150.         detector->initConfig(R"(D:\python-project\yolov5\yolov5s.onnx)", 640, 640, 0.25f);
152.         cv::Mat frame = cv::imread(R"(D:\python-project\yolov5\data\images\bus.jpg)");
154.         std::vector<DetectResult> results;
155.         detector->detect(frame, results);
156.         for (DetectResult& dr : results)
157.         {
158.                 cv::Rect box = dr.box;
159.                 cv::putText(frame, classNames[dr.classId]+ " "+ std::to_string(dr.score), cv::Point(box.tl().x, box.tl().y - 10), cv::FONT_HERSHEY_SIMPLEX,
160.                         .5, cv::Scalar(0, 0, 0));
161.         }
162.         cv::imshow("OpenCV-DNN-yolov5", frame);
163.         cv::waitKey();
164.         results.clear();
165. }

复制代码

运行结果：

留意事项：
1）、readNetFromONNX加载onnx模子堕落。 interp_mode != "asymmetric"，这个错误信息表明你在利用OpenCV的readNetFromONNX函数加载ONNX模子时，模子中的某些节点的插值模式（interp_mode）不是"asymmetric"。
办理方法：利用opencv版本4.5.3或以上，本文利用的opencv4.6.0
2）、监测到目标比yolov5工程detect.py推理出来的目标少。
办理方法：det_output.row(i).colRange(5, num_class);num_class:最大分类数

1. cv::Mat classes_scores = det_output.row(i).colRange(5, preds.size[2]);

复制代码