结合YOLOv8和OpenCV WeChat QRCode打造一款二维码识别器

原创仇智慧搜狐技术产品

2024年09月05日 23:31

本文字数：3876字
预计阅读时间：25分钟

01
引言

二维码（QR Code）在现代生活中有广泛应用，从支付系统到信息传递，它们无处不在。本文提出了一种如何识别二维码的方法，主要贡献在于优化处理分辨率较高的图像时，由于二维码在整张图片中占据的比例较小，传统的OpenCV WeChat QRCode的识别方法表现不佳的问题。下面描述详细的优化过程。

02
OpenCV WeChat QRCode

WeChat QRCode检测库是一个高效的二维码检测和解码库，由腾讯微信团队开发，并集成到OpenCV的扩展模块中。它能够高效地检测并解码图像中的二维码，具有高准确率和快速的处理速度。OpenCV WeChat QRCode 识别二维码的原理主要依赖于深度学习和传统计算机视觉相结合的方法。

原理解读

图像预处理:

灰度化: 将输入图像转换为灰度图像，减少计算复杂度；
去噪: 使用高斯滤波器等方法减少图像中的噪声。

QR码定位:

特征检测: 通过检测图像中的特定图案或特征来定位QR码的潜在区域。通常，QR码包含三个明显的定位标志，可以通过形状检测来识别这些标志；
区域分割: 通过分割算法将图像中的QR码区域提取出来。

QR码解码:

图像矫正: 使用透视变换等方法将QR码区域矫正为标准的正方形，确保解码的准确性；
二维码解析: 利用深度学习模型或传统方法（如ZBar库）对矫正后的图像进行解析，提取QR码中的数据。

深度学习方法:

模型训练: 使用大量标注过的QR码图像进行模型训练，模型通常包括卷积神经网络（CNN）等深度学习架构；
特征提取和分类: 深度学习模型自动提取图像中的高维特征，并进行分类以识别和解码QR码。

代码实战

首先，确保已安装 OpenCV 和 WeChat QRCode 模块。如果还没有安装，可以使用以下命令安装：

pip install opencv-python opencv-contrib-python

然后，你可以使用以下代码来识别二维码：

import cv2

    # 初始化 WeChat QRCode 检测器
    wechat_qr = cv2.wechat_qrcode_WeChatQRCode("detect.prototxt", "detect.caffemodel", "sr.prototxt", "sr.caffemodel")

    # 读取图片
    image = cv2.imread('qrcode_image.png')

    # 检测二维码
    res, points = wechat_qr.detectAndDecode(image)

    # 输出结果
    if len(res) > 0:
        for i in range(len(res)):
            print(f"QRCode {i+1}: {res[i]}")
            # 在图像上绘制二维码的边界框
            for j in range(4):
                cv2.line(image, tuple(points[i][j]), tuple(points[i][(j+1) % 4]), (0, 255, 0), 2)

        # 显示图像
        cv2.imshow('Detected QRCode', image)
        cv2.waitKey(0)
        cv2.destroyAllWindows()
    else:
        print("No QRCode detected.")

代码解读

初始化 WeChat QRCode 检测器：你需要提供四个文件路径来初始化 WeChat QRCode 检测器，分别是 detect.prototxt, detect.caffemodel,sr.prototxt, 和 sr.caffemodel。这些文件可以从 WeChat QRCode 项目中获取；
读取图片：使用 cv2.imread 函数读取需要检测的图片；
检测二维码：使用 detectAndDecode方法检测图像中的二维码，并解码其内容。返回值 res是二维码内容的列表，points 是二维码在图像中的四个角点的列表；
输出结果并绘制边界框：如果检测到二维码，输出其内容，并在图像上绘制二维码的边界框；
显示图像：使用 OpenCV 的 i``mshow显示图像，并在按下任意键后关闭窗口。

注意事项

你需要从 WeChat QRCode 项目中下载 detect.prototxt,detect.caffemodel, sr.prototxt, 和 sr.caffemodel 文件；
图片路径和文件路径需要根据实际情况进行修改。

缺点与不足

OpenCV WeChat QRCode 当应用于大图像中包含小二维码的场景时，其检测效果往往不尽如人意。这种现象的主要原因包括以下几个方面：

1. 图像分辨率和比例问题

二维码检测算法通常依赖于图像的分辨率和二维码在图像中的比例。如果图像的整体分辨率很高，但二维码在图像中所占的比例很小，那么二维码的特征在整体图像中会变得不显著。这会导致检测算法难以有效地识别出二维码的存在。

特征不显著：小二维码在大图像中占据的像素很少，其特征容易被淹没在其他背景信息中；
尺度不匹配：检测算法可能在预处理中会对图像进行缩放或分块处理，这可能会进一步降低小二维码的可检测性。

2. 算法局限性

OpenCV WeChat QRCode 的检测算法在设计时可能假设二维码在图像中占据一定的比例范围，这使得它对非常小的二维码检测效果不佳。

窗口大小：检测算法使用的滑动窗口可能不适合非常小的二维码。窗口大小过大或过小都会影响检测的准确性；
特征提取：二维码检测依赖于图像特征（如边缘、角点等）的提取。在大图中，这些特征可能被噪声或其他物体的特征干扰，导致检测失败。

3. 图像预处理和缩放

在处理大图时，算法通常会对图像进行预处理，包括缩放、灰度化等操作。这些操作可能会导致小二维码的细节丢失。

缩放失真：在缩放过程中，小二维码的细节可能被模糊化或失真，导致特征不明显；
图像噪声：大图中的噪声和纹理可能会干扰二维码的特征提取，特别是在缩放后，这种影响可能更加显著。

03
第一次优化

针对OpenCV WeChat QRCode算法自身的局限性，可以采用以下几种方法进行改进：

1. 图像预处理

通过预处理来提高二维码的可检测性：

图像缩放：将图像缩小，使得小二维码相对变大，有助于检测。例如，先将大图像按比例缩小，再进行二维码检测；
图像增强：增强图像的对比度和清晰度，如使用直方图均衡化或锐化滤波器。

2. 多尺度检测

实现多尺度检测，即在不同的尺度下进行二维码检测，增加小二维码被检测到的概率。

    import cv2
    from wechat_qrcode import WeChatQRCode  # 假设WeChatQRCode是你使用的库

    # 初始化 WeChat QRCode 检测器
    wechat_qr = WeChatQRCode(
        "detect.prototxt", "detect.caffemodel",
        "sr.prototxt", "sr.caffemodel"
    )

    # 读取图像
    image = cv2.imread('large_image.jpg')

    # 定义缩放比例列表
    scales = [0.5, 0.75, 1.0, 1.25, 1.5]

    for scale in scales:
        # 缩放图像
        scaled_image = cv2.resize(image, None, fx=scale, fy=scale)
        # 检测二维码
        _, points = wechat_qr.detectAndDecode(scaled_image)
        # 如果检测到二维码
        if points:
            print(f'二维码在缩放比例 {scale} 下被检测到')
            break

3. 滑动窗口方法

将大图像分割成多个小块，然后在每个小块上进行二维码检测。

    import cv2

    def sliding_window(image, stepSize, windowSize):
        # 滑动窗口生成器
        for y in range(0, image.shape[0] - windowSize[1], stepSize):
            for x in range(0, image.shape[1] - windowSize[0], stepSize):
                yield (x, y, image[y:y + windowSize[1], x:x + windowSize[0]])

    # 读取图像
    image = cv2.imread('large_image.jpg')
    (winW, winH) = (200, 200)  # 定义窗口大小
    stepSize = 100  # 定义步长

    for (x, y, window) in sliding_window(image, stepSize=stepSize, windowSize=(winW, winH)):
        # 如果窗口大小不符合预期，跳过
        if window.shape[0] != winH or window.shape[1] != winW:
            continue

        # 在窗口上进行二维码检测
        _, points = wechat_qr.detectAndDecode(window)
        if points:
            print(f'二维码在位置 ({x}, {y}) 被检测到')
            break

结论

图像预处理和缩放：缩放会导致分辨率损失，有可能影响检测效果，预处理效果依赖于图像质量和二维码的具体情况，并不适合复杂场景；
多尺度检测：增加了计算复杂度，处理速度较慢，不适合线上实时检测的使用场景；
滑动窗口方法：计算开销大，处理速度更慢，不适合线上实时检测的使用场景。

那么有没有一种即可以处理复杂的场景，又能够满足线上实时检测要求的方案呢？

04
第二次优化：引入YOLOv8

YOLOv8（You Only Look Once version 8）是一种先进的目标检测算法，能够高效地检测和识别图像中的目标。为了提高大图像中小二维码的检测效果，可以使用YOLOv8训练一个专门的二维码检测器。先利用YOLOv8框选裁剪出大图像中的小二维码图片，再使用OpenCV WeChat QRCode进行识别。

我们将整个流程分为两个主要步骤：

1. 使用YOLOv8模型检测图像中的二维码位置；

2. 将检测到的二维码区域裁剪出来并传递给OpenCV WeChat QRCode进行解码。

1. 安装必要的软件和库

首先，确保你已经安装了YOLOv8和OpenCV。你可以通过以下命令安装所需的库：

pip install ultralytics opencv-python

2. 收集和标注二维码数据集

为了训练一个高效的二维码检测模型，你需要准备一个包含二维码图像的训练数据集，并对这些图像进行标注。标注工具如LabelImg可以帮助你完成这项工作。

数据集结构示例

dataset/
├── images/
│   ├── train/
│   │   ├── image1.jpg
│   │   ├── image2.jpg
│   │   └── ...
│   ├── val/
│   │   ├── image1.jpg
│   │   └── ...
├── labels/
│   ├── train/
│   │   ├── image1.txt
│   │   ├── image2.txt
│   │   └── ...
│   ├── val/
│   │   ├── image1.txt
│   │   └── ...

每个标注文件（.txt）应包含与图像文件对应的边界框信息，格式如下：

class_id center_x center_y width height

3.训练YOLOv8模型

a. 数据集配置文件

创建一个数据集配置文件（dataset.yaml），包含数据集路径和类别信息：

train: path/to/dataset/images/train
val: path/to/dataset/images/val

nc: 1  # 类别数，这里是1，因为只有二维码一种类别
names: ['qrcode']

b. 训练模型

使用Ultralytics提供的YOLOv8接口进行训练。以下是训练代码示例：


    from ultralytics import YOLO

    # 加载预训练的YOLOv8模型
    model = YOLO('yolov8n.pt')  # 使用预训练模型作为起点

    # 开始训练
    model.train(data='path/to/dataset.yaml', epochs=100, imgsz=640, batch=16, name='qrcode-detector')

c. 训练过程

在训练过程中，YOLOv8将会根据数据集自动调整模型参数。训练过程可能需要一些时间，具体取决于数据集大小和计算资源。训练完成后，模型权重将被保存，可以用于推理和评估。

4. 结合YOLOv8和OpenCV WeChat QRCode进行检测和识别

训练完成后，使用YOLOv8检测二维码的位置，裁剪二维码区域，并使用OpenCV WeChat QRCode进行解码。

    import cv2
    from ultralytics import YOLO

    # 加载训练好的模型
    model = YOLO('runs/train/qrcode-detector/weights/best.pt')

    # 初始化WeChat QRCode检测器
    wechat_qr = cv2.wechat_qrcode_WeChatQRCode("detect.prototxt", "detect.caffemodel", "sr.prototxt", "sr.caffemodel")

    # 读取图像
    image = cv2.imread('path/to/test_image.jpg')

    # 使用模型进行检测
    results = model(image)

    # 获取检测结果
    boxes = results.xyxy[0]  # 提取边界框

    # 遍历检测到的边界框
    for box in boxes:
        x1, y1, x2, y2, conf, cls = box
        if cls == 0:  # 确保检测到的是二维码
            # 裁剪出二维码区域
            qr_crop = image[int(y1):int(y2), int(x1):int(x2)]
            
            # 使用 WeChat QRCode 进行识别
            res, points = wechat_qr.detectAndDecode(qr_crop)
            
            # 输出结果
            if len(res) > 0:
                print(f"Detected QR Code: {res[0]}")
                # 在图像上绘制二维码的边界框
                cv2.rectangle(image, (int(x1), int(y1)), (int(x2), int(y2)), (0, 255, 0), 2)

    # 显示最终结果
    cv2.imshow('Detected QR Codes', image)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

详细步骤解析

1. 加载训练好的YOLOv8模型

YOLOv8是一个轻量级、高效的目标检测模型。使用训练好的模型对图像进行目标检测：

model = YOLO('runs/train/qrcode-detector/weights/best.pt')

2. 读取图像并进行检测

读取待检测的图像，并使用YOLOv8模型检测图像中的二维码位置：

image = cv2.imread('path/to/test_image.jpg')
results = model(image)
boxes = results.xyxy[0]

3. 初始化OpenCV WeChat QRCode检测器

OpenCV WeChat QRCode检测器是一个专门用于二维码检测和解码的工具。加载检测器所需的模型文件：


    wechat_qr = cv2.wechat_qrcode_WeChatQRCode("detect.prototxt", "detect.caffemodel", "sr.prototxt", "sr.caffemodel")

4. 裁剪二维码区域并解码

遍历YOLOv8检测到的边界框，裁剪出二维码区域，并使用WeChat QRCode进行解码：


    for box in boxes:
        x1, y1, x2, y2, conf, cls = box
        if cls == 0:  # 确保检测到的是二维码
            qr_crop = image[int(y1):int(y2), int(x1):int(x2)]
            res, points = wechat_qr.detectAndDecode(qr_crop)
            if len(res) > 0:
                print(f"Detected QR Code: {res[0]}")
                cv2.rectangle(image, (int(x1), int(y1)), (int(x2), int(y2)), (0, 255, 0), 2)

5. 显示最终结果

使用OpenCV显示检测和解码后的结果图像：

cv2.imshow('Detected QR Codes', image)
cv2.waitKey(0)
cv2.destroyAllWindows()

优势

结合多种算法的优势：

YOLOv8擅长快速准确地检测图像中的目标，包括小目标和复杂背景中的目标；
OpenCV WeChat QRCode在二维码解码方面表现出色，尤其是在处理模糊或失真的二维码时。

提高检测精度和效率：

通过YOLOv8先检测二维码区域，可以缩小需要进行二维码解码的图像区域，从而提高检测和解码的效率；
对于高分辨率图像中的小二维码，YOLOv8能够有效定位，而WeChat QRCode则能确保高质量的解码。

适应复杂场景：

YOLOv8在不同光照、背景复杂度和角度下的检测能力非常强，这使得整个系统在各种复杂场景中具有更高的鲁棒性。

减少误检和误识别：

YOLOv8可以在初步检测阶段过滤掉大部分非二维码区域，减少误检的可能性；
结合WeChat QRCode的解码，可以进一步验证检测到的区域是否真的是二维码，减少误识别。

05
进一步优化思路

数据增强：在训练YOLOv8模型时，可以使用数据增强技术（如随机裁剪、旋转、缩放等）增加数据集的多样性，提高模型的鲁棒性；
多尺度检测：在YOLOv8检测阶段，可以通过多尺度检测（例如同时使用不同分辨率的图像进行检测）提高对不同大小二维码的检测能力；
后处理优化：在检测到二维码后，可以使用一些后处理方法（如非极大值抑制）来过滤掉低置信度的检测框，以减少误检；
模型融合：结合多个检测模型的优点（如使用YOLOv8与其他二维码检测模型进行融合），提高整体检测与识别的准确率和鲁棒性。

06
总结

通过将YOLOv8和OpenCV WeChat QRCode结合使用，能够显著提高二维码检测和识别的精度和效率。这种组合方法不仅能够有效处理大图中的小二维码，还能适应各种复杂的实际应用场景，具有较高的创新性和实际应用价值。这一创新点在图像处理和计算机视觉领域具有重要的意义，为解决高分辨率图像中的小目标检测提供了新的思路和解决方案。

继续滑动看下一个