大家好，我是程序员柏风，AI 最全的 Vibecoding 学习地图 http://coderoadmap.cn 作者。

计算机视觉简介

计算机视觉是一个旨在让计算机能够对数字图像进行高层次理解的学科。这是一个非常广泛的定义，因为理解可以有很多不同的含义，包括在图片中找到一个物体（目标检测）、理解发生了什么（事件检测）、用文字描述图片，或者重建3D场景。此外，还有一些与人类图像相关的特殊任务：年龄和情绪估计、人脸检测与识别，以及3D姿态估计等。

课前测验

计算机视觉最简单的任务之一是图像分类。

计算机视觉通常被认为是人工智能的一个分支。如今，大多数计算机视觉任务都是通过神经网络解决的。我们将在本节中学习一种专门用于计算机视觉的神经网络类型，卷积神经网络。

然而，在将图像传递给神经网络之前，许多情况下使用一些算法技术来增强图像是有意义的。

以下是一些可用于图像处理的Python库：

imageio 可用于读取/写入不同的图像格式。它还支持ffmpeg，一个将视频帧转换为图像的有用工具。
Pillow（也称为PIL）功能更强大，还支持一些图像操作，如变形、调色板调整等。
OpenCV 是一个用C++编写的强大的图像处理库，已成为图像处理的事实标准。它有一个方便的Python接口。
dlib 是一个C++库，实施了许多机器学习算法，包括一些计算机视觉算法。它也有一个Python接口，可用于诸如人脸和面部标志检测等具有挑战性的任务。

OpenCV

OpenCV 被认为是图像处理的事实标准。它包含许多有用的算法，用C++实现。你也可以通过Python调用OpenCV。

学习OpenCV的一个好地方是这个Learn OpenCV课程。在我们的课程中，我们的目标不是学习OpenCV，而是向你展示一些使用它的例子，以及如何使用它。

加载图像

在Python中，图像可以方便地表示为NumPy数组。例如，大小为320x200像素的灰度图像将存储在一个200x320的数组中，而相同尺寸的彩色图像将具有200x320x3的形状（对应3个颜色通道）。要加载图像，可以使用以下代码：

import cv2
import matplotlib.pyplot as plt

im = cv2.imread('image.jpeg')
plt.imshow(im)

传统上，OpenCV使用BGR（蓝-绿-红）编码来表示彩色图像，而Python中的其他工具则使用更传统的RGB（红-绿-蓝）。为了使图像显示正确，你需要将其转换为RGB颜色空间，可以通过交换NumPy数组中的维度或调用OpenCV函数来实现：

im = cv2.cvtColor(im,cv2.COLOR_BGR2RGB)

同样的cvtColor函数也可以用于执行其他颜色空间转换，例如将图像转换为灰度或HSV（色调-饱和度-亮度）颜色空间。

你还可以使用OpenCV逐帧加载视频——在练习OpenCV Notebook中有一个示例。

图像处理

在将图像传递给神经网络之前，你可能需要应用几个预处理步骤。OpenCV可以做很多事情，包括：

使用im = cv2.resize(im, (320,200),interpolation=cv2.INTER_LANCZOS)对图像进行调整大小。
使用im = cv2.medianBlur(im,3)或im = cv2.GaussianBlur(im, (3,3), 0)对图像进行模糊处理。
通过NumPy数组操作来改变图像的亮度和对比度，具体方法可参考这个Stackoverflow帖子。
使用阈值处理，通过调用cv2.threshold或cv2.adaptiveThreshold函数，这通常比调整亮度或对比度更优。
对图像应用不同的变换：
- 仿射变换 如果你需要对图像进行旋转、调整大小和倾斜，并且知道图像中三个点的源位置和目标位置，仿射变换会保持平行线的平行性。
- 透视变换 如果你知道图像中四个点的源位置和目标位置，这会很有用。例如，如果你用智能手机从某个角度拍摄了一张矩形文档的照片，并希望将文档本身变成一个矩形图像。
使用**光流**来理解图像中的运动。