01-计算机视觉整体链路解析：图像采集、预处理、推理、落地全流程

计算机视觉整体链路解析：图像采集、预处理、推理、落地全流程

作者：黒漂技术佬
适用人群：零基础小白，对计算机视觉感兴趣但不知道从何入手的同学

一、计算机视觉到底是个啥？

你刷脸解锁手机的时候，超市自助结账识别商品的时候，工厂机械臂抓取零件的时候——背后都有同一个东西在干活：计算机视觉（Computer Vision，简称CV）。

说白了，计算机视觉就是让计算机"看懂"图片和视频。人眼看到一瓶可乐，瞬间知道"这是可乐"；计算机看到的是一堆数字（像素值），它需要一套流程把这些数字变成"这是一瓶可乐"这个结论。

这套流程，就是我们今天要聊的完整链路。

二、完整链路全景图

一个工业级计算机视觉系统，从图像输入到最终落地，通常经过以下几个环节：

图像采集 → 预处理 → 模型推理 → 后处理 → 业务逻辑落地

别看只有五步，每一步都有坑。下面逐个拆解。

三、第一步：图像采集

图像采集是整个链路的起点，说白了就是怎么把现实世界的画面变成计算机能处理的数字图像。

采集设备有哪些？

关键参数

• 分辨率：图像的像素尺寸，如1920×1080。分辨率越高，细节越丰富，但计算量也越大。
• 帧率（FPS）：每秒采集多少帧图像。无人售货柜一般15-30fps就够了，工业检测可能需要60fps以上。
• 曝光时间：决定图像亮不亮。太暗看不清，太亮会过曝。

实战提醒：很多新手以为模型不行，其实是图像采集环节出了问题——光线不足、摄像头抖动、分辨率太低，再好的模型也白搭。垃圾进，垃圾出（Garbage In, Garbage Out），这是CV领域的铁律。

四、第二步：图像预处理

采集到的原始图像，通常不能直接丢给模型，需要先"收拾一下"。

常见预处理操作

1. 缩放（Resize）

模型通常要求固定尺寸的输入，比如640×640。但摄像头拍出来的是1920×1080，怎么办？缩放。

import cv2

# 读取原图
img = cv2.imread("product.jpg")
# 缩放到模型需要的尺寸
img_resized = cv2.resize(img, (640, 640))

2. 归一化（Normalization）

像素值范围是0-255，但模型喜欢0-1或者-1到1之间的小数。归一化就是把像素值除以255（或做更复杂的标准化），让数值范围变小，模型训练更稳定。

# 归一化到 0~1
img_normalized = img_resized / 255.0

3. 颜色空间转换

OpenCV默认读取是BGR顺序，但很多模型训练时用的是RGB，不转换的话颜色就乱了。

img_rgb = cv2.cvtColor(img_resized, cv2.COLOR_BGR2RGB)

4. 其他增强操作

在训练阶段还会用到：翻转、旋转、裁剪、色彩抖动等数据增强手段，目的是让模型见多识广，提高泛化能力。不过推理阶段一般不做这些。

五、第三步：模型推理

这是整个链路的核心环节——把预处理后的图像喂给训练好的模型，让模型输出检测结果。

推理过程发生了什么？

模型本质上是一个超复杂的数学函数。输入是一张图像（多维数组），输出是检测结果——通常包括每个目标的类别、位置坐标、置信度。

输入图像 (1, 3, 640, 640)
↓
神经网络模型
↓
输出: [类别=可乐, 坐标=(100,50,200,300), 置信度=0.92]
[类别=薯片, 坐标=(300,50,450,280), 置信度=0.87]

推理框架选择

无人售货柜场景举例：柜子里通常部署一个边缘计算盒子（如RK3588），本地运行YOLO模型，实时识别顾客拿取的商品。不需要上传云端，延迟低、隐私好。

六、第四步：后处理

模型直接吐出来的结果通常是"粗糙"的——同一个商品可能被检测出好几个重叠的框，还有些低置信度的误检。后处理就是把这些粗糙结果变成干净可用的结果。

最核心的后处理：NMS（非极大值抑制）

当模型对同一个商品预测了3个重叠的框时，NMS会保留置信度最高的那个，把其余重叠度高的框干掉。

NMS前: 3个框都框着同一瓶可乐
↓ NMS处理
NMS后: 只保留1个最靠谱的框

NMS的原理细节我们会在后续文章中专门讲解，这里先知道它的作用就行。

其他后处理

• 置信度过滤：把置信度低于阈值（如0.5）的检测结果直接丢弃。
• 坐标转换：把模型输出的归一化坐标转回原图像素坐标。
• 业务过滤：比如无人售货柜只关心商品类别，检测到"人手"可以忽略。

七、第五步：业务逻辑落地

检测结果最终要服务于具体的业务需求。光检测出"这里有瓶可乐"不够，还得告诉系统该做什么。

无人售货柜全链路实例

以一个典型的无人售货柜为例，完整链路是这样跑的：

1. 顾客打开柜门 → 摄像头开始采集视频帧
2. 每帧图像缩放到640×640，归一化
3. YOLO模型推理，输出所有商品的检测框
4. NMS去重，过滤低置信度结果
5. 对比开门前后的商品列表，计算差集
6. 差集就是顾客拿走的商品 → 生成订单 → 自动扣款

这里面，步骤1-4是标准CV链路，步骤5-6是业务逻辑。技术为业务服务，别本末倒置。

八、链路优化思路

实际落地中，链路的每一步都可以优化：

• 采集端：补光、调整摄像头角度，从源头提高图像质量
• 预处理端：根据模型需求选择最优的缩放策略（letterbox比直接resize更保比例）
• 推理端：模型量化（FP32→INT8）、剪枝、使用推理加速框架
• 后处理端：调优NMS的IOU阈值和置信度阈值
• 业务端：多帧投票（连续多帧检测到同一商品才确认），降低误判率

小结

计算机视觉不是只有"模型"这一个环节，而是一条完整的链路：采集→预处理→推理→后处理→落地。任何一环拉胯，整个系统就废。新手入门，别上来就钻进模型细节出不来，先把全链路搞清楚，知道每个环节的作用和坑点，才能在实际项目中游刃有余。