基于Python的面部表情识别分析系统.zip

# 面部表情识别 ### 练习技能： + 爬虫 + 数据清洗 + 计算机视觉（图片基本处理，信息提取） + 深度学习 --- # 图像识别技术文档 <br> ## 一、**项目概述** + 项目名称：面部表情识别 + 项目背景：在与客户交流的过程中，通过客户的面部表情来判断用户对话题是否感兴趣，营销人员或者沟通人员可以从中找到客户感兴趣的方面，或者判断客户的购买欲望 + 图像识别是指利用计算机对图像进行处理、分析、理解，图像识别的过程可分为图像处理和图像分析两个过程 图像处理是指对所需要分析的图像进行一系列的图形操作，包括拉伸缩放、旋转翻转、颜色变换、像素保留……，图像分析是指通过图像的特征来反馈图像信息并且分类，最简单的是基于统计的方法、最常用的是深度学习方法 + 技术支持 图像处理：VoTT、OpenCV、PIL 图像分析：TensorFlow、Keras、CNN <br> <br> ## 二、**应用领域** 总体目标 - 一级目标 - 通过客户的面部表情变化，来抓住客户感兴趣的点，提高沟通效率 - 二级目标 - 学习图像识别的技术 - 三级目标 - 学习深度学习实现工具 - 四级目标 - 了解图像识别技术实现的步骤，技术原理 <br> ## 三、**实验步骤** ### 3.1 资源 + 数据资源：本次实验为面部表情的二分类识别，情绪为高兴和沮丧，各表情图像 5000 张 + 技术支持：Keras、TensorFlow、VoTT、OpenCV、PIL ##### Keras Keras 是一个由 Python 编写的开源人工神经网络库，可以作为 Tensorflow、Microsoft-CNTK 和 Theano 的高阶应用程序接口，进行深度学习模型的设计、调试、评估、应用和可视化，Keras 的神经网络 API 是在封装后与使用者直接进行交互的 API 组件，在使用时可以调用 Keras 的其它组件。除数据预处理外，使用者可以通过神经网络 API 实现机器学习任务中的常见操作，包括人工神经网络的构建、编译、学习、评估、测试等。 ##### TensorFlow TensorFlow 由谷歌人工智能团队谷歌大脑（Google Brain）开发和维护，拥有包括 TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud 在内的多个项目以及各类[应用程序接口]( API） [2] 。自 2015 年 11 月 9 日起，TensorFlow 依据阿帕奇授权协议（Apache 2.0 open source license）开放源代码，TensorFlow 是一个基于数据流编程（dataflow programming）的符号数学系统，被广泛应用于各类机器学习（machine learning）算法的编程实现，谷歌大脑自 2011 年成立起开展了面向科学研究和谷歌产品开发的大规模深度学习应用研究，其早期工作即是 TensorFlow 的前身 DistBelief。 ##### VoTT VoTT 是一个用 [TypeScript](https://github.com/Microsoft/TypeScript) 编写的 React + Redux Web 应用程序。该项目是通过 Create React App 启动的，用于图像和视频资产的开源注释和标签工具，VoTT 可以作为本机应用程序安装，也可以从源代码运行。VoTT 也可以作为[独立的 Web 应用程序](https://vott.z22.web.core.windows.net/)使用，并且可以在任何现代 Web 浏览器中使用。 ##### OpenCV OpenCV 是一个基于 BSD 许可（开源）发行的跨平台计算机视觉库，可以运行在 Linux、Windows、Android 和 Mac OS 操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了 Python、Ruby、MATLAB 等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。 ##### PIL python 图像处理库，这个库支持多种文件格式，并提供了强大的图像处理和图形处理能力。 <br> ### 3.2 方法 #### 3.2.1 **试验阶段** + 在项目开始初步试验阶段，通过人工百度搜索人像表情图像，利用 VoTT 工具进行裁切和标注，各表情 100 张，并按照 7,2,1 的比列把数据分为训练集、测试集、验证集。 + 利用 Keras 深度学历框架搭建简单的 CNN 进行训练，结果显示 CNN 在图像处理领域效果很不错，在模型未经过调整前准确率能超过 50%。 <br> #### 3.2.2 **中期工作** + 扩大数据集，利用爬虫批量获取人像图片，在爬取百度图片的过程中，如果直接获取那最多只能获取到 30 张图像，之后程序就自动停止了，采用的解决方法是，通过观察 url 发现可以添加 page 页码这个选择来达到滚轮向下刷新图片的作用，因此添加一个页码循环来爬取图像。 <br> ```python # 爬取图片 import re import requests from urllib import error from bs4 import BeautifulSoup import os num = 0 numPicture = 0 file = '' List = [] def Find(url): global List print('正在检测图片总数，请稍等.....') t = 0 i = 1 s = 0 while t < 1000: Url = url + str(t) try: Result = requests.get(Url, timeout=7) except BaseException: t = t + 60 continue else: result = Result.text pic_url = re.findall('"objURL":"(.*?)",', result, re.S) # 先利用正则表达式找到图片url s += len(pic_url) if len(pic_url) == 0: break else: List.append(pic_url) t = t + 60 return s def recommend(url): Re = [] try: html = requests.get(url) except error.HTTPError as e: return else: html.encoding = 'utf-8' bsObj = BeautifulSoup(html.text, 'html.parser') div = bsObj.find('div', id='topRS') if div is not None: listA = div.findAll('a') for i in listA: if i is not None: Re.append(i.get_text()) return Re def dowmloadPicture(html, keyword): global num # t =0 pic_url = re.findall('"objURL":"(.*?)",', html, re.S) # 先利用正则表达式找到图片url print('找到关键词:' + keyword + '的图片，即将开始下载图片...') for each in pic_url: # print('正在下载第' + str(num + 1) + '张图片，图片地址:' + str(each)) print('\r',"已下载"+str(num+1).ljust(10)+"张图片",end='') try: if each is not None: pic = requests.get(each, timeout=7) else: continue except BaseException: print('错误，当前图片无法下载') continue else: string = file + r'\\' + keyword + '_' + str(num) + '.jpg' fp = open(string, 'wb') fp.write(pic.content) fp.close() num += 1 if num >= numPicture: return if __name__ == '__main__': # 主函数入口 word = input("请输入搜索关键词(可以是人名，地名等): ") #add = 'http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%E5%BC%A0%E5%A4%A9%E7%88%B1&pn=120' url = 'http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=' + word + '&pn=' tot = Find(url) Recommend = recommend(url) # 记录相关推荐 print('经过检测%s类图片共有%d张' % (word, tot)) numPicture = int(input('请输入想要下载的图片数量 ')) file = input('请建立一个存储图片的文件夹，输入文件夹名称即可') words=input("请输入图片前缀") y = os.path.exists(file) if y == 1: print('该文件已存在，请重新输入') file = input('请建立一个存储图片的文件夹，)输入文件夹名称即可') os.mkdir(file) else: os.mkdir(file) t = 0 tmp = url while t