选题简介
我们本次的系统结构实践期末大作业是一个身份认证系统。该系统在人脸识别开源的python库face_recognition的基础上,进行修改示例代码,搭建lnmp框架,构建web项目,拉取MySQL容器等等工作来完成的。身份认证系统在识别人脸的过程中,会从数据库中得到所识别对象的信息,若无法识别,则会不进行显示;在对象信息的调整上,是通过web项目完成的,进行信息的增删改查。
设计
文件结构
lnmp框架
代码
首先进行对图片库加载和学习识别的半自动化
# 保存的图片文件名
image_name_list = []
# 得到文件名
def file_name(image_name_list):
# root是指当前目录路径(文件夹的绝对路径)
# dirs是指路径下所有的子目录(文件夹里的文件夹)
# files是指路径下所有的文件(文件夹里所有的文件)
for root,dirs,files in os.walk(file_dir):
for file in files:
# if os.path.splitext(file)[1] == '.jpg':
image_name_list.append(os.path.join(file))
print(image_name_list)
file_name(image_name_list)
# 创建已知面孔及其名称数组
known_face_encodings = []
known_face_names = []
# 加载图片并学习如何识别它
def konwn_face(known_face_encodings,known_face_names):
for image_name in image_name_list :
character_image = face_recognition.load_image_file(file_dir+image_name)
character_face_encoding = face_recognition.face_encodings(character_image)[0]
known_face_encodings.append(character_face_encoding)
for root,dirs,files in os.walk(file_dir):
for file in files:
known_face_names.append(os.path.splitext(file)[0])
konwn_face(known_face_encodings,known_face_names)
设定阈值
若阈值太低,容易造成无法成功识别人脸,结果如下:
反之,若阈值太高,就会人脸识别混淆,结果如下:
所以阈值太低容易造成无法成功识别人脸,太高容易造成人脸识别混淆,并且识别亚洲人所需要阈值tolerance一般要用低一点。
for face_encoding in face_encodings:
# See if the face is a match for the known face(s)
# 查看该面孔是否与已知面孔匹配
matches = face_recognition.compare_faces(known_face_encodings, face_encoding,tolerance=0.5)
# 默认为unknown
name = "Unknown"
# 使用与新面孔距离最小的已知面孔,即看测试图像与已知面孔之间有多远
face_distances = face_recognition.face_distance(known_face_encodings, face_encoding)
#best_match_index为face_distances中最小值的下标
best_match_index = np.argmin(face_distances)
#如果face_distances[best_match_index]小于0.5(截止值,原本想加上的,但仔细一想又好像不对),matches[best_match_index]比较结果为真
if matches[best_match_index]:
name = known_face_names[best_match_index]
face_names.append(name)
未识别到人脸的信息
呈现在常态和未识别到时的信息面板内容。
#text
rectangular_image = cv2.imread(rectangular_dir)
font = cv2.FONT_HERSHEY_DUPLEX
cv2.putText(rectangular_image, "FACE PLEA!", (0 + 150, 0 + 330), font, 4, (255, 255, 255), 2)
已识别到人脸的信息
呈现已识别到时的信息面板内容。
#mysql
rectangular_image = cv2.imread(rectangular_dir)
id=name
sql = "SELECT * FROM User
WHERE id = %s" % (id)
results=mysql.mysql_find(cursor,sql)
if(results!=None):
for row in results:
lname = row[1]
age = row[2]
sex =row[3]
iden = row[4]
nation = row[5]
# 画一个有名字的标签
#cv2.rectangle(frame, (left, bottom - 35), (right, bottom), (0, 0, 255), cv2.FILLED)
font = cv2.FONT_HERSHEY_DUPLEX
cv2.putText(rectangular_image, "NAME: "+lname, (0 + 50, 0 + 100), font, 2.0, (255, 255, 255), 2)
cv2.putText(rectangular_image, "AGE: "+age, (0 + 50, 0 + 200), font, 2.0, (255, 255, 255), 2)
cv2.putText(rectangular_image, "SEX: "+sex, (0 + 50, 0 + 300), font, 2.0, (255, 255, 255), 2)
cv2.putText(rectangular_image, "IDENTITY: "+iden, (0 + 50, 0 + 400), font, 2.0, (255, 255, 255), 2)
cv2.putText(rectangular_image, "NATION: "+nation, (0 + 50, 0 + 500), font, 2.0, (255, 255, 255), 2)
摄像头界面、信息面板、边框图片整合
首先来了解一下掩膜(mask)的概念:掩膜是用一副二值化图片对另外一幅图片进行局部的遮挡。
将边框图片用来作为掩膜,即灰度化处理
# 边框图片
bor_image = cv2.imread(border_dir)
# 变更为画布的大小
bor_image = cv2.resize(bor_image, (frame.shape[1], frame.shape[0]) )
#roi
rows,cols,channels = bor_image.shape
roi = frame[0:rows, 0:cols ]
# 利用mask合成
# 将图片灰度化(灰度0-255 白255 黑0)
bor_image_gray = cv2.cvtColor(bor_image,cv2.COLOR_BGR2GRAY)
将灰度图取反,其结果与原图分别作用于所需的两张素材,即相当于在原图中按位与运算边框图片的灰度图,使得在原图所对应的边框位置值为0;在边框图片按位与取反的灰度图,使得除边框外部分的值为0。
# 灰度图 把 大于175(即不感兴趣)的值改为 255 ,也就是变为白色
# 现在是mask中 兴趣区域-->黑色 无兴趣区域-->白色
ret, mask = cv2.threshold(bor_image_gray, 180, 255, cv2.THRESH_BINARY)
# 把mask取反,现在是mask_not中 兴趣区域-->白色 无兴趣区域-->黑色
mask_not = cv2.bitwise_not(mask)
# 对图片和mask进行取与操作,作用相当于把mask中为黑色()的部分,
# 在图片中也附黑,白色部分不变。
img1_bg = cv2.bitwise_and(roi,roi,mask = mask)
# 对边框图片和mask_not进行取与操作,作用相当于把mask中为黑色的部分,
# 在边框图片中也附黑,白色部分不变。
img2_bg = cv2.bitwise_and(bor_image,bor_image,mask = mask_not)
进行图片的加和
# 进行图片的加和
dst = cv2.add(img1_bg,img2_bg)
frame[0:rows, 0:cols ] = dst
#add the rectangular
rectangular_image = cv2.resize(rectangular_image, (frame.shape[1], frame.shape[0]), )
vtich = np.vstack((frame, rectangular_image))
mysql.py
import pymysql
def mysql_connect():
connect = pymysql.connect(
host='localhost',
port=3306,
user='root',
passwd='123',
db='myDB',
charset='utf8'
)
if(connect!=None):
print("connect mysql success!")
return connect.cursor()
def mysql_find(cursor,sql):
try:
cursor.execute(sql)
results = cursor.fetchall()
for row in results:
name = row[1]
age = row[2]
sex =row[3]
iden = row[4]
nation = row[5]
print ("name=%s,age=%s,sex=%s,iden=%s,nation=%s" %
(name, age, sex, iden, nation ))
return results
except:
print ("Error: unable to fecth data")
web项目
MySQL容器
树莓派运行结果
组内分工 + 贡献比
学号 | 姓名 | 分工 | 贡献比 |
---|---|---|---|
031702220 | 黄恒杰 | 框架搭建+实际操作+web前端 | 50% |
031702223 | 郑志强 | 资料查询+php连接 | 20% |
031702239 | 林国钦 | 身份识别代码+PPT、博客编写 | 30% |
总结
⭐ 黄恒杰:本身在机缘巧合下拿到了树莓派,就产生了比较浓厚的兴趣,所以这次大作业我就直接基于树莓派的人脸识别来开展。我们组这次的大作业,可以说真的是三个菜鸟,基于所有已经学过的docker知识,还有平时一步步踏踏实实做好实验的经验,堆积起来了这个还算不小的项目。从python环境下跑人脸识别拓展到拉取mysql镜像容器来存取身份信息的身份识别,再到利用已经学过的lnmp集群框架来实现web服务,这一切似乎不简单但却可行性非常高。其中还拓展了图像功能来呈现身份识别的良好效果,可以说是比较创新的一点。在这里我也很感谢两个组员的配合,虽然实验中遇到了非常多的坎,虽然每个人的能力并没特别突出,但配合起来还是能产生很大的创作性的。即使因为时间有限,最后没有做的尽善尽美,但我们都还是很欣慰最后的那个项目的成果
⭐ 郑志强:从刚刚接触到系统综合实践这门课起,我就感受到这是一门实践性很强、理论性也很强的课程,所以每次作业时,我们组都进行了屏幕分享,视频等方式进行交流、沟通、探讨。
⭐ 林国钦:经过三周的实践操作,我们的作业已经完成。虽然过程中也遇到了很多问题,但通过查询资料,我们基本上都能够解决。本次实验我感受到了cv2在图像处理方面的强大功能,这使得在进行图像处理的代码编写上简单了许多,放掉了想对图像像素点值处理的想法。还有在这里为黄恒杰组长辛苦劳作说一声谢谢,组长不仅分工安排合理,还十分的强大。