当您的手机看到您的脸时就会解锁。一辆自动驾驶汽车发现一名行人正在过马路。放射科医生获得人工智能支持的 X 射线第二意见。所有这些突破都有一个共同的基础：计算机视觉。这是人工智能领域，教会机器解释和理解来自周围世界的视觉信息。在本文中，我们将详细介绍计算机视觉的工作原理，探索其背后的关键技术，并探讨当今改变行业的现实应用程序。
计算机视觉是人工智能的一个分支，它使计算机能够从图像、视频和其他视觉输入中提取有意义的信息。简单来说，就是赋予机器“看”的能力，并根据所看到的内容做出决策。
想想你如何在人群中认出一个朋友。你的眼睛捕捉光线，你的大脑处理形状和颜色，将它们与记忆进行匹配，然后在几毫秒内你就会想到：“那是莎拉！”你可以毫不费力地做到这一点，因为你的大脑自出生以来就已经接受了数百万次视觉体验的训练。
计算机视觉试图复制这个过程，但路径却截然不同。从任何生物学意义上来说，计算机都不能“看见”。相反，它接收代表像素值的数字网格，并且必须通过对数千或数百万个标记示例进行训练来学习，以找到这些数字中与有意义的对象和概念相对应的模式。
计算机视觉之旅始于 20 世纪 60 年代，当时出现了可以识别图像边界的简单边缘检测算法。在 20 世纪 90 年代和 2000 年代，研究人员开发了 SIFT 和 HOG 等手工特征描述符，可以在不同条件下识别物体。真正的革命出现在 2012 年，当时一种名为 AlexNet 的深度学习模型在 ImageNet 竞赛中显着优于传统方法。从那时起，深度学习已成为主导方法，计算机视觉的能力以惊人的速度扩展。
关键要点： 计算机视觉使机器能够解释视觉数据，就像人类视觉系统一样，但使用从大型数据集而不是生物神经元中学习的数学模式。
从本质上讲，每张数字图像只是数字的集合。了解计算机如何将这些数字转化为意义是掌握计算机视觉的第一步。
数字图像由称为像素的小方块组成。每个像素都存储颜色信息。在标准彩色图像中，每个像素都包含与红、绿、蓝 (RGB) 通道相对应的三个值，每个值的范围从 0 到 255。例如，一张 1920×1080 图像包含超过 200 万个像素和大约 600 万个单独的数字。
对于计算机来说，图像只不过是这些数字的大矩阵。挑战在于弄清楚这些数字的含义。
为了理解图像，计算机需要识别特征，即视觉信息的构建块。低级特征包括边缘、角和颜色渐变。中级功能将这些组合成纹理和形状。高级特征代表整个对象，例如面部、汽车或动物。
在早期的计算机视觉中，工程师手动设计这些功能，编写明确的规则，例如“寻找亮度的强烈变化来检测边缘”。这种方法在受控环境中有效，但难以应对现实世界图像的混乱复杂性。
现代计算机视觉的突破在于深度学习模型直接从数据中学习自己的特征。神经网络在训练过程中自动发现它们，而不是由人类决定寻找什么模式。这就是深度学习模型如此强大的原因：它们可以找到人类工程师不会想到寻找的微妙、复杂的模式。
大多数现代计算机视觉系统背后的主力是卷积神经网络（CNN）。让我们把它一点一点地分解。
想象一下，您有一个放大镜，一次只能显示一小部分图像。您可以将此放大镜从左到右、从上到下滑动穿过整个图像，检查每个小区域。在每个位置，您检查特定的图案，例如垂直边缘或颜色渐变，并记录您发现的内容。
这本质上就是卷积的作用。一个小的数字网格，称为过滤器或内核，在图像上滑动。在每个位置，它将其值乘以相应的像素值并对结果求和。输出是一个新图像，称为特征图，它突出显示过滤器正在寻找的模式出现的位置。
CNN 在每一层中使用许多不同的过滤器，每个过滤器都经过训练以检测不同的模式。早期层检测边缘和角等简单特征。更深的层结合了这些简单的特征来检测日益复杂的图案，例如眼睛、车轮或整个脸部。
卷积之后，特征图可能会非常大。 池化层通过汇总小区域来缩小它们。最常见的类型，最大池化，采用一个小窗口（例如 2×2 像素）并仅保留最大值，丢弃其余部分。
把池想象成从画中退后一步。近距离观察，你会看到单独的笔触。退后一步，细节变得模糊起来，但整体形状和构图变得更加清晰。池化减少了网络必须处理的数据量，同时保留了最重要的信息。
经过几轮卷积和池化后，提取的特征被展平为单个数字列表，并输入全连接层。这些层的工作方式类似于传统的神经网络，结合所有特征来做出最终决定：“该图像包含一只猫”或“该图像中的数字是 7”。
CNN 最令人着迷的方面之一是它们的理解如何逐步构建：
这种分层学习反映了神经科学家认为人类视觉皮层如何处理从简单到复杂的信息。
几个具有里程碑意义的 CNN 架构塑造了这个领域：
关键要点： CNN 的工作原理是在图像上滑动小滤波器来检测模式，通过池化来降低复杂性，并通过堆叠层来构建从简单边缘到复杂对象的理解。
计算机视觉不是一个单一的问题，而是一系列相关的任务，每个任务都有不同的目标和技术。
最简单的问题：**这张图片里有什么？**给定一张照片，模型将其分配给一个或多个类别。 “这是一只金毛猎犬。” “这是胸部X光检查，显示肺炎。”分类是许多其他任务的基础。
分类告诉您图像中的内容，但对象检测还告诉您位置。它在每个对象周围绘制边界框并为其添加标签。流行的算法包括实时处理图像的YOLO（You Only Look Once），以及平衡速度和准确性的SSD（Single Shot Detector）。物体检测对于自动驾驶等应用至关重要，其中了解每辆车和行人的位置至关重要。
分割更进一步，对图像中的每个像素进行分类。您可以获得每个对象的精确轮廓，而不是边界框。 语义分割对同一类的所有像素进行相同的标记，而实例分割区分同一类的各个对象（例如，将人群中的三个不同的人分开）。
面部识别是计算机视觉的一种专门应用，可根据人脸识别或验证一个人。现代系统将面部特征映射到高维空间，相似的面部聚集在一起。该技术为手机解锁功能、图库中的照片组织以及安全系统提供支持。
计算机视觉不仅涉及理解图像，还涉及创建图像。 生成对抗网络 (GAN) 让两个神经网络相互对抗：一个生成图像，另一个判断图像，并且都随着时间的推移而改进。最近，扩散模型通过学习逐渐消除随机静态中的噪声直到出现连贯图像，产生了令人惊叹的结果。这些技术是现代人工智能艺术和图像编辑工具的背后。
计算机视觉的实际影响几乎遍及每个行业。
自动驾驶汽车依靠计算机视觉来实时解释道路。摄像头捕捉周围环境，人工智能模型检测车道标记、交通标志、其他车辆、行人和障碍物。计算机视觉与激光雷达和雷达数据相结合，使车辆能够详细了解其环境，从而实现瞬间驾驶决策。
计算机视觉正在改变医疗保健。 AI 模型可以通过乳房 X 光检查检测肿瘤，通过眼部扫描识别糖尿病性视网膜病变，并通过 X 射线发现骨折，有时其准确度可与经验丰富的放射科医生相媲美或超过。这些工具并不能取代医生。它们是强有力的第二意见，可以捕捉到人眼可能错过的信息，尤其是在时间压力下。
购物者现在可以将手机摄像头对准产品并立即在网上找到它。这种视觉搜索功能由计算机视觉提供支持。零售商还将其用于自动库存跟踪、货架监控和无收银结账系统，其中摄像头跟踪顾客取货并自动收费。
在工厂车间，计算机视觉系统以人类无法比拟的速度检查产品。他们检测电路板中的微观缺陷，验证标签是否正确放置，并确保产品符合质量标准。这种自动化减少了浪费，提高了一致性，并降低了成本。
农民使用无人机安装的摄像头和计算机视觉来监测大片田地里的农作物。人工智能可以根据叶子图案识别植物病害、估计作物产量、检测灌溉问题，甚至指导自主收割设备。这种精准农业方法有助于用更少的资源生产更多的粮食。
计算机视觉使智能监控系统能够比人类操作员观看数十个屏幕更有效地检测异常行为、识别未经授权的访问并监控大面积区域。这些系统提出了我们接下来将解决的重要道德问题。
关键要点： 计算机视觉已经嵌入到从医疗保健到农业的各个行业中，自动执行需要视觉理解的任务并实现十年前不可能实现的功能。
尽管计算机视觉功能强大，但它也面临着人工智能社区必须解决的重大挑战。
计算机视觉模型的公平性取决于它所学习的数据。如果训练数据集不能充分代表某些人口统计数据，则该模型在这些群体上的表现将很差。例如，事实证明，面部识别系统对于肤色较深的人的错误率明显较高，这是训练数据不平衡的直接结果。
通过面部识别识别个人的能力引发了严重的隐私问题。什么时候应该接受监视？谁有权访问数据？个人可以选择退出吗？这些都是社会仍在努力解决的问题，欧盟人工智能法案等法规已开始设定界限。
研究人员表明，对图像进行的微小的、精心设计的更改（通常是人眼看不见的）可以欺骗计算机视觉模型，使其做出极其错误的预测。带有一些策略性贴纸的停车标志可能会被错误地归类为限速标志。此漏洞是安全关键应用程序的一个严重问题。
负责任地构建计算机视觉系统意味着测试偏见、对限制保持透明、尊重隐私以及在设计时考虑到人类的监督。仅靠技术是不够的。我们需要深思熟虑的治理和道德框架，以确保计算机视觉惠及每个人。
该领域正在迅速发展，一些趋势正在塑造接下来的发展。
变压器架构最初是为文本设计的，事实证明对图像非常有效。视觉变换器 (ViT) 将图像处理为一系列补丁，并使用自注意力机制来理解图像不同部分之间的关系。在许多基准测试中，ViT 现在的表现都优于传统 CNN。
最令人兴奋的前沿可能是多模式人工智能，即同时理解图像和语言的模型。 GPT-4V 和 Google Gemini 等系统可以描述图像、回答有关视觉内容的问题，并同时对文本和视觉进行推理。视觉和语言的融合正在开辟全新的应用。
计算机视觉正在超越平面 2D 图像。新模型可以理解 3D 场景、估计深度并从照片中重建三维物体。此功能对于增强现实、机器人和空间计算平台至关重要。
在智能手机、无人机和物联网传感器等设备上（而不是在云端）运行计算机视觉模型已成为越来越重要的优先事项。 设备上的人工智能提供更快的响应时间、更好的隐私以及无需互联网连接即可工作的能力。高效的模型架构和硬件加速器使这一点变得越来越实用。
关键要点： 计算机视觉的未来在于变压器、多模式理解、3D 感知，以及将强大的模型引入边缘设备以实现实时的设备智能。
计算机视觉是人工智能中最令人兴奋和最容易实现的领域之一。无论您是对人工智能如何“看到”感到好奇的初学者，还是准备构建自己的图像识别模型的开发人员，都有适合您的学习路径。
如果您刚刚开始，我们的AI Sprouts 计划] 是完美的切入点。通过动手项目和指导练习，您将直观地了解人工智能如何处理图像，而无需深厚的数学背景。
准备好深入了解了吗？ AI Canopy 计划] 涵盖高级深度学习主题，包括构建和训练 CNN、使用对象检测框架以及在生产环境中部署计算机视觉模型。
探索我们所有的课程，找到最适合您的学习旅程的课程。计算机视觉世界正在快速发展，现在正是投入其中的最佳时机。