您当前的位置:首页 > 计算机 > 编程开发 > Other

imutils库源码解析,看它如何调用opencv(二)- 面部工具

时间:04-17来源:作者:点击数:

imutils这个图像处理工具包,除了简化opencv的一些操作之外,还有专门配合dlib处理人脸数据的工具face_utils。dlib 提取人脸数据后,五官都是用一些特征点来表示的,每个部位的点的索引是固定的,想要进一步操作就得对这些点进行处理,而 face_utils 就是简化这些点的表现方式

本文就来解析一下 face_utils 的处理方法,方便我们理解它的用处


特征点索引提取

查看源码:

#For dlib’s 68-point facial landmark detector:
FACIAL_LANDMARKS_68_IDXS = OrderedDict([
	("mouth", (48, 68)),
	("inner_mouth", (60, 68)),
	("right_eyebrow", (17, 22)),
	("left_eyebrow", (22, 27)),
	("right_eye", (36, 42)),
	("left_eye", (42, 48)),
	("nose", (27, 36)),
	("jaw", (0, 17))
])

特征点区域图:

在这里插入图片描述

dlib 提取人脸特征点是用 68 个点包围每个部位,如上图,例如第 37 个点到第 42 个点就代表右眼,在图片上这几个点若显示出来就是把右眼那块区域包围着,可以通过这些点之间距离的变化来判断人脸的变化,比如是否眨眼等操作

imutils 通过OrderedDict把这些点的索引与其表示的区域直接通过字典形式联系起来,之后再提取某个部位的点时,就不用去查点的索引分布了,例如想提取嘴部特征点,其索引可以通过:

(mStart, mEnd) = face_utils.FACIAL_LANDMARKS_68_IDXS["mouth"]

FACIAL_LANDMARKS_68_IDXS打印出来看看:

在这里插入图片描述

人脸区域坐标转换

查看源码:

def rect_to_bb(rect):
	# take a bounding predicted by dlib and convert it
	# to the format (x, y, w, h) as we would normally do
	# with OpenCV
	x = rect.left()
	y = rect.top()
	w = rect.right() - x
	h = rect.bottom() - y

	# return a tuple of (x, y, w, h)
	return (x, y, w, h)

dlib 提取人脸区域是后是用 4 个数表示,分别代表上下左右的边界。

rect_to_bb将其转换为坐标信息,即(左上角横坐标, 左上角纵坐标, 矩形宽度, 矩形长度),之后就可以通过这个坐标将人脸区域用矩形框出来显示


特征点坐标提取

查看源码:

def shape_to_np(shape, dtype="int"):
	# initialize the list of (x, y)-coordinates
	coords = np.zeros((shape.num_parts, 2), dtype=dtype)

	# loop over all facial landmarks and convert them
	# to a 2-tuple of (x, y)-coordinates
	for i in range(0, shape.num_parts):
		coords[i] = (shape.part(i).x, shape.part(i).y)

	# return the list of (x, y)-coordinates
	return coords

dlib 提取人脸的 68 个特征点之后,是用自身的dlib.full_object_detection格式保存它们的坐标信息,每次提取坐标都需要用(shape.part(i).x, shape.part(i).y)形式

shape_to_np将 68 个特征点的坐标提取出来后,再用numpy保存为坐标点矩阵,方便其使用


标记人脸部位

查看源码:

def visualize_facial_landmarks(image, shape, colors=None, alpha=0.75):
	# create two copies of the input image -- one for the
	# overlay and one for the final output image
	overlay = image.copy()
	output = image.copy()

	# if the colors list is None, initialize it with a unique
	# color for each facial landmark region
	if colors is None:
		colors = [(19, 199, 109), (79, 76, 240), (230, 159, 23),
			(168, 100, 168), (158, 163, 32),
			(163, 38, 32), (180, 42, 220)]

	# loop over the facial landmark regions individually
	for (i, name) in enumerate(FACIAL_LANDMARKS_IDXS.keys()):
		# grab the (x, y)-coordinates associated with the
		# face landmark
		(j, k) = FACIAL_LANDMARKS_IDXS[name]
		pts = shape[j:k]

		# check if are supposed to draw the jawline
		if name == "jaw":
			# since the jawline is a non-enclosed facial region,
			# just draw lines between the (x, y)-coordinates
			for l in range(1, len(pts)):
				ptA = tuple(pts[l - 1])
				ptB = tuple(pts[l])
				cv2.line(overlay, ptA, ptB, colors[i], 2)

		# otherwise, compute the convex hull of the facial
		# landmark coordinates points and display it
		else:
			hull = cv2.convexHull(pts)
			cv2.drawContours(overlay, [hull], -1, colors[i], -1)

	# apply the transparent overlay
	cv2.addWeighted(overlay, alpha, output, 1 - alpha, 0, output)

	# return the output image
	return output

68 个特征点提取出来后,已经将人脸的每个部位标记出来,之后就可以每个部位进行标记,例如将每个部位用不同颜色覆盖。而上面代码中的函数就是进行这个操作

2 个必要参数:

  • image:输入图像
  • shape:特征点坐标矩阵

使用后效果图:

在这里插入图片描述

里面使用了 opencv 的convexHulldrawContoursaddWeighted方法,看一下它们的参数和作用:

cv2.convexHull(points,clockwise,returnpoints)

  • points:输入的坐标点,通常为1* n * 2 结构,n为所有的坐标点的数目
  • clockwise:转动方向,TRUE为顺时针,否则为逆时针
  • returnPoints:默认为TRUE,返回凸包上点的坐标,如果设置为FALSE,会返回与凸包点对应的轮廓上的点
    此函数是找寻凸包,不严谨的说是将最外层的点连接起来构成的凸多边形,即把边缘点连接起来

cv2.drawContours(image,contours,contourIdx,color,thickness=None,lineType=None,hierarchy=None,maxLevel=None,offset=None)

  • image:输入图像
  • contours:轮廓列表
  • contourIdx:列表中的哪条轮廓
  • color:绘制颜色
  • thickness:轮廓线的宽度,如果是 -1 (cv2.FILLED),则为填充模式
    此函数是将轮廓线条绘制出来,内部空间也可以填充

cv2.addWeighted(image1, alpha,image2,beta,gamma[,dst[,dtype]])

  • image1:输入图像1
  • alpha:图像1的权重
  • image2:输入图像2,与图像1的尺寸和通道数相同
  • beta:图像2的权重
  • gamma:加到每个总和上的标量,相当于调亮度
  • dst:输出
    此函数是将图像进行叠加,两个图像的权重自行选择

经过这 3 个方法后,人脸的每个部位就被标记出来了

方便获取更多学习、工作、生活信息请关注本站微信公众号城东书院 微信服务号城东书院 微信订阅号
推荐内容
相关内容
栏目更新
栏目热门