OpenCV-Python实战（14）——人脸检测详解（仅需6行代码学会4种人脸检测方法）_python opencv 人脸识别
为了专注人脸处理相关主题，我们将使用 OpenCV 库，以及dlib和cvlib等Python包。同时，本文将在人脸处理中使用不同的方法，以介绍解决具体人脸处理任务的不同方法，对不同方法的介绍将有助于大家根据不同的应用需求选择不同的方法。下图展示了人脸处理的相关主题，以及可用的Python包：人脸检测：对象检测的一种特殊情况，其任务是找到图像中所有人脸的位置和大小。面部特征点检测：特征点检测的一种
一、Python所有方向的学习路线
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
二、Python必备开发工具
工具都帮大家整理好了，安装就可直接上手！
三、最新Python学习笔记
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
四、Python视频合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
六、面试宝典
简历模板
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
人脸处理是人工智能中的一个热门话题，人脸处理可以使用计算机视觉算法从人脸中自动提取大量信息，例如身份、意图和情感。人脸在视觉交流中起着重要作用，这是由于人脸中包含大量非语言信息，因此人脸处理一直以来对于计算机视觉学习者来说都是非常有趣的话题，因为它涉及不同的专业领域，例如对象检测、特征点检测以及对象跟踪等。在本文中，将首先介绍常用人脸处理库，然后通过实战讲解如何使用这些库进行人脸检测，为进一步进行相关处理奠定基础。
1. 人脸处理简介
为了专注人脸处理相关主题，我们将使用 OpenCV 库，以及 dlib、face_recognition 和 cvlib 等 Python 包。同时，本文将在人脸处理中使用不同的方法，以介绍解决具体人脸处理任务的不同方法，对不同方法的介绍将有助于大家根据不同的应用需求选择不同的方法。下图展示了人脸处理的相关主题，以及可用的 Python 包：
如上图所示，人脸处理主要包括以下主题：
人脸检测：对象检测的一种特殊情况，其任务是找到图像中所有人脸的位置和大小。面部特征点检测：特征点检测的一种特殊情况，其任务是定位人脸中的主要特征点。人脸跟踪：对象跟踪的一种特殊情况，其任务是利用在视频的连续帧中提取的额外信息，找到视频中所有移动人脸的位置和大小。人脸识别：目标识别的一种特殊情况，其任务是使用从人脸中提取的信息从图像或视频中识别或验证一个人：- 人脸识别 (1:N)：在已知人脸集合中找到与检测到的人脸最接近的匹配项
- 人脸验证 (1:1)：检查检测到的人脸是否是其所声称的人
如上所述，人脸处理主要包括：人脸检测、面部特征点检测、人脸追踪 和 人脸识别，本文主要关注使用 OpenCV、dlib、face_recognition 和 cvlib 库进行人脸检测，关于其他人脸处理主题将在后续系列中进行介绍。
2. 安装人脸处理相关库
2.1 安装 dlib
Dlib 是一个包含计算机视觉、机器学习和深度学习算法的 C++ 软件库，也可以在 Python 应用程序中使用，安装 dlib，需要使用以下命令：
pip install dlib
2.2 安装 face_recognition
face_recognition 是一个强大、简单、易上手的人脸识别开源项目，为了在 Python 中使用 face_recognition 库，使用以下命令进行安装：
pip install face_recognition
2.3 安装 cvlib
cvlib 一个高级、易用、开源的 Python 计算机视觉库，要安装 cvlib 包，首先需要安装以下依赖库：numpy、opencv-python、requests、progressbar、pillow、tensorflow 以及 keras。
然后，再安装 cvlib 包：
pip install cvlib
3. 人脸检测
人脸检测是确定图像中人脸的位置和大小的任务，通常是构建人脸处理应用程序(例如，表情识别、睡意检测、性别分类、人脸识别或人机交互等)的基础，这是由于此类应用程序需要将检测到的人脸位置和大小作为输入。因此，自动人脸检测起着至关重要的作用，是人工智能学科研究最多的课题之一。
人脸检测对人类而言并不困难，但对计算机来说通常涉及许多挑战(例如外观变化、比例变换、旋转、面部表情变换、遮挡或光照条件等)。在本节中，我们将利用 OpenCV、dlib 和 face_processing 等提供的流行人脸检测技术(包括机器学习和深度学习方法)检测图像中的人脸。
3.1 使用 OpenCV 进行人脸检测
OpenCV 提供了两种人脸检测方法，包括：
- 基于 Haar 级联的人脸检测器
- 基于深度学习的人脸检测器
3.1.1 基于 Haar 级联的人脸检测器
OpenCV 中提供了基于 Viola 和 Jones 提出对象检测框架的人脸检测算法。此外，该对象检测框架还可用于检测其他物体，例如：车牌号或猫脸等。在本节中，我们将使用此框架检测人脸。OpenCV 提供了 4 个级联分类器用于人脸检测，可以从OpenCV 官方下载这些级联分类器文件：
- haarcascade_frontalface_alt.xml (FA1)
- haarcascade_frontalface_alt2.xml (FA2)
- haarcascade_frontalface_alt_tree.xml (FAT)
- haarcascade_frontalface_default.xml (FD)
可以使用不同的数据集评估这些级联分类器的性能，总的来说这些分类器具有相似的准确率，因此，接下来为了简化程序，我们仅使用其中的两个(更具体地说，仅加载级联分类器 FA2 和 FD)，大家也可以选择其它感兴趣的分类器测试其性能。OpenCV 提供了cv2.CascadeClassifier() 函数用于从文件中加载分类器：
# 加载级联分类器
# 第一种方法的第一行代码
cas_alt2 = cv2.CascadeClassifier("haarcascade\_frontalface\_alt2.xml")
cas_default = cv2.CascadeClassifier("haarcascade\_frontalface\_default.xml")
接下来，就可以使用 cv2.CascadeClassifier.detectMultiScale() 函数执行检测了：
# 第一种方法的第二行代码
# 这样就完成了第一种方法的介绍了
faces_alt2 = cas_alt2.detectMultiScale(gray)
faces_default = cas_default.detectMultiScale(gray)
cv2.CascadeClassifier.detectMultiScale() 函数检测对象并将它们作为矩形列表返回。为了进行可视化，最后编写 show_detection() 函数进行可视化：
def show\_detection(image, faces):
"""在每个检测到的人脸上绘制一个矩形进行标示"""
for (x, y, w, h) in faces:
cv2.rectangle(image, (x, y), (x + w, y + h), (255, 0, 0), 5)
return image
# 调用 show\_detection() 函数标示检测到的人脸
img_faces_alt2 = show_detection(img.copy(), faces_alt2)
img_faces_default = show_detection(img.copy(), faces_default)
什么，两行代码还觉得麻烦，那么是时候用一行调用检测器并检测人脸了，这就是 OpenCV 提供的 cv2.face.getFacesHAAR() 函数：
# 一行代码实现基于 Haar 级联的人脸检测器，学一送一
retval, faces_haar_alt2 = cv2.face.getFacesHAAR(img, "haarcascade\_frontalface\_alt2.xml")
retval, faces_haar_default = cv2.face.getFacesHAAR(img, "haarcascade\_frontalface\_default.xml")
cv2.CascadeClassifier.detectMultiScale() 需要灰度图像作为输入，而 cv2.face.getFacesHAAR() 需要 BGR 图像作为输入。此外， cv2.CascadeClassifier.detectMultiScale() 将检测到的人脸输出为矩形列表，例如，如果检测到两个人脸，则输出形式如下：
[[809 494 152 152] [168 503 188 188]]
而 cv2.face.getFacesHAAR() 函数则以以下格式返回检测到的人脸：
[[[ 809 493 151 151]] [[ 167 503 189 189]]]
因此，如果使用 cv2.face.getFacesHAAR() 函数进行检测，绘制检测框时要调用 np.squeeze() 函数消除多余维度：
faces_haar_alt2 = np.squeeze(faces_haar_alt2)
faces_haar_default = np.squeeze(faces_haar_default)
从加载的图像，到检测和绘制人脸的完整代码如下：
# 可视化函数
def show\_img\_with\_matplotlib(color_img, title, pos):
img_RGB = color_img[:, :, ::-1]
ax = plt.subplot(2, 2, pos)
plt.imshow(img_RGB)
plt.title(title, fontsize=8)
plt.axis('off')
# 加载图像
img = cv2.imread("test\_face\_detection.jpg")
# 将 BGR 图像转换为灰度图像
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 加载分类器
cas_alt2 = cv2.CascadeClassifier("haarcascade\_frontalface\_alt2.xml")
cas_default = cv2.CascadeClassifier("haarcascade\_frontalface\_default.xml")
# 检测人脸
faces_alt2 = cas_alt2.detectMultiScale(gray)
faces_default = cas_default.detectMultiScale(gray)
retval, faces_haar_alt2 = cv2.face.getFacesHAAR(img, "haarcascade\_frontalface\_alt2.xml")
faces_haar_alt2 = np.squeeze(faces_haar_alt2)
retval, faces_haar_default = cv2.face.getFacesHAAR(img, "haarcascade\_frontalface\_default.xml")
faces_haar_default = np.squeeze(faces_haar_default)
# 绘制人脸检测框
img_faces_alt2 = show_detection(img.copy(), faces_alt2)
img_faces_default = show_detection(img.copy(), faces_default)
img_faces_haar_alt2 = show_detection(img.copy(), faces_haar_alt2)
img_faces_haar_default = show_detection(img.copy(), faces_haar_default)
# 可视化
show_img_with_matplotlib(img_faces_alt2, "detectMultiScale(frontalface\_alt2): " + str(len(faces_alt2)), 1)
show_img_with_matplotlib(img_faces_default, "detectMultiScale(frontalface\_default): " + str(len(faces_default)), 2)
show_img_with_matplotlib(img_faces_haar_alt2, "getFacesHAAR(frontalface\_alt2): " + str(len(faces_haar_alt2)), 3)
show_img_with_matplotlib(img_faces_haar_default, "getFacesHAAR(frontalface\_default): " + str(len(faces_haar_default)), 4)
plt.show()
程序的输出如下图所示：
如上图所示，通过使用基于 haar 特征的不同级联分类器检测到的人脸会有所不同。最后，还需要说明的是，cv2.CascadeClassifier.detectMultiScale() 函数有 minSize 和 maxSize 参数，用以设置最小尺寸(小于 minSize 的对象将不被检测)和最大尺寸(大于 maxSize 的对象将不被检测到)，而 cv2.face.getFacesHAAR() 函数并不提供此参数。
3.1.2 基于深度学习的人脸检测器
除了基于 Haar 级联的人脸检测器外，OpenCV 提供了基于深度学习的人脸检测器，OpenCV 深度神经网络 (Deep Neural Networks, DNN) 人脸检测器基于使用 ResNet-10 网络的 Single Shot MultiBox Detector (SSD) 框架。OpenCV 中 DNN 模块，使用流行的深度学习框架(例如 Caffe、TensorFlow、Torch 和 Darknet )通过预先训练的深度网络实现前向计算(即推理阶段)。这意味着我们可以使用预训练的网络执行完整的前向计算并利用输出在我们的应用程序中进行预测，而不需要花费数小时来训练网络。
接下来，我们预训练的深度学习人脸检测器模型执行人脸检测，使用以下两种模型：
- 人脸检测器 (FP16)：Caffe 实现的浮点 16 版本，为了使用此检测器，首先下载模型文件(deploy.prototxt)和配置文件(res10_300x300_ssd_iter_140000_fp16.caffemodel)；
- 人脸检测器 (UINT8)：TensorFlow 实现的 8 位量化版本，为了使用此检测器，首先下载模型文件(opencv_face_detector.pbtxt)和配置文件(opencv_face_detector_uint8.pb)。
接下来介绍如何使用预训练的深度学习人脸检测器模型来检测人脸，第一步同样是是加载预训练的模型：
# 加载预训练的模型， Caffe 实现的版本
net = cv2.dnn.readNetFromCaffe("deploy.prototxt", "res10\_300x300\_ssd\_iter\_140000\_fp16.caffemodel")
# 加载预训练的模型， Tensorflow 实现的版本
# net = cv2.dnn.readNetFromTensorflow("opencv\_face\_detector\_uint8.pb", "opencv\_face\_detector.pbtxt")
为了获得最佳精度，必须分别对蓝色、绿色和红色通道执行 (104, 177, 123) 通道均值减法，并将图像调整为 300 x 300 的 BGR 图像，在 OpenCV 中可以通过使用 cv2.dnn.blobFromImage() 函数进行此预处理：
blob = cv2.dnn.blobFromImage(image, 1.0, (300, 300), [104., 117., 123.], False, False)
下一步是将 blob 设置为输入以获得结果，对整个网络执行前向计算以计算输出：
# 将 blob 设置为输入并获取检测结果
net.setInput(blob)
detections = net.forward()
最后一步是迭代检测并绘制结果，仅在相应置信度大于最小阈值时才将其可视化：
detected_faces = 0
w, h = image.shape[1], image.shape[0]
# 迭代所有检测结果
for i in range(0, detections.shape[2]):
# 获取当前检测结果的置信度
confidence = detections[0, 0, i, 2]
# 如果置信大于最小置信度，则将其可视化
if confidence > 0.7:
detected_faces += 1
# 获取当前检测结果的坐标
box = detections[0, 0, i, 3:7] \* np.array([w, h, w, h])
(startX, startY, endX, endY) = box.astype('int')
# 绘制检测结果和置信度
text = "{:.3f}%".format(confidence \* 100)
y = startY -10 if startY - 10 > 10 else startY + 10
cv2.rectangle(image, (startX, startY), (endX, endY), (255, 0, 0), 3)
cv2.putText(image, text, (startX, y), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 0, 255), 2)
# 可视化
show_img_with_matplotlib(image, "DNN face detector: " + str(detected_faces), 1)
plt.show()
基于深度学习的人脸检测器的检测结果如下所示：
从上图中可以看出，三个正面人脸都可以被两个深度学习模型高置信度地检测到。
3.2 使用 dlib 进行人脸检测
3.2.1 基于 HOG 特征和滑动窗口的人脸检测器
在 dlib 中提供了基于方向梯度直方图 (Histogram of Oriented Gradients, HOG) 特征和滑动窗口检测方法中的线性分类器，使用基于结构 SVM 的训练算法用于人脸检测，分类器能够在每个训练图像的所有子窗口中进行训练，此人脸检测器使用来自户外标记人脸 (Labeled Faces in the Wild, LFW) 数据集的 3,000 张图像进行了训练。
如需使用 dlib 中的基于 HOG 特征和滑动窗口的人脸检测器检测人脸，第一步是从 dlib 加载人脸检测器：
# 加载人脸检测器
# 第二种方法的第一行代码
detector = dlib.get_frontal_face_detector()
# 加载图像并转换为灰度图像
img = cv2.imread('example.png')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
下一步是执行检测：
# 执行检测
# 第二种方法的第二行代码，至此第二种方法也讲解完毕了
rects_1 = detector(gray, 0)
rects_2 = detector(gray, 1)
detector() 的第二个参数表示在执行检测过程之前对图像进行上采样的次数，因为图像越大检测器检测到更多的人脸的可能性就越高，但执行时间相应也会增加。
最后可视化检测结果：
def show\_detection(image, faces):
for face in faces:
cv2.rectangle(image, (face.left(), face.top()), (face.right(), face.bottom()), (255, 255, 0), 5)
return image
# 绘制检测框
img_faces_2 = show_detection(img.copy(), rects_2)
img_faces_2 = show_detection(img.copy(), rects_2)
# 绘制图像
show_img_with_matplotlib(img_faces_1, "detector(gray, 0): " + str(len(rects_1)), 1)
show_img_with_matplotlib(img_faces_2, "detector(gray, 1): " + str(len(rects_2)), 2)
plt.show()
如上图所示，如果使用原始灰度图像 (rects_1 = detection(gray, 0)) 检测人脸，则只能找到三张人脸。但是，如果我们使用上采样 1 次的灰度图像 (rects_2 = detection(gray, 1)) 检测人脸，则可以正确的检测到四个人脸。
值得注意的是，该检测器同样也可以用于发现人脸以外的目标。可以通过查看 dlib 库中的 train_object_detector.py 源码，了解如何仅使用少量训练图像训练自定义对象检测器。例如，可以仅使用十张交通标志图像来训练出色的交通标志检测器。
3.2.2 基于 CNN 的人脸检测器
dlib 库同样也提供了 CNN 人脸检测器，可以使用 dlib.cnn_face_detection_model_v1() 创建 CNN 人脸检测器。 dlib.cnn_face_detection_model_v1() 函数从传入的文件加载人脸检测模型，因此首先下载预训练模型。创建 CNN 人脸检测器时，将下载完成的预训练模型传递给此方法：
cnn_face_detector = dlib.cnn_face_detection_model_v1("mmod\_human\_face\_detector.dat")
之后，我们使用此检测器来检测人脸：
rects = cnn_face_detector(img, 0)
检测器返回 mmod_rectangles 对象，它是一个 mmod_rectangle 对象的列表，并且 mmod_rectangle 对象有两个成员变量—— dlib.rectangle 对象和预测的置信度分数，为了显示检测结果，编写 show_detection() 函数：
文末有福利领取哦~
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
👉**一、Python所有方向的学习路线**
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
👉**二、Python必备开发工具**
👉**三、Python视频合集**
观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
👉 **四、实战案例**
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。**（文末领读者福利）**
👉**五、Python练习题**
检查学习结果。
👉**六、面试资料**
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传
**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**
**[需要这份系统化学习资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618317507)**
**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
3
0- 0
已为社区贡献1条内容
所有评论(0)