基于卷积神经网络实现拍照数学题识别计算结果 完整代码 +说明文档

# 数学助理系统文档 # 一、数学助理简介 数学助理是一个手写数学计算题识别与自动求解系统。它是一个网页，能够接收用户上传的包含数学计算题的图片，然后返回计算过程和计算结果。  # 二、运行环境 该项目在 mac OS 10.13.3 下运行，如果经过正确配置，Windows 系统也应该可以运行。 该项目在 python3.6 环境下运行。同时推荐使用 IDE-pycharm 来运行本项目。 # 三、项目重要文件介绍 - 项目配置文件：config 是一个 python 的 package，里面定义了一些系统参数，包括系统能够识别的字符、卷积神经网络模型的文件、数据集路径、测试题目路径等。 - tools：init.py 包含了主要的常用的函数。cnn_model.py 定义了卷积神经网络。Image_input.py 用于读取字符训练数据集和测试数据集。Image_preprocess.py 实现了对图片的预处理，包括灰度化、二值化、切割、归一化等。Train_and_eval_model.py 是用来训练卷积神经网络和测试卷积神经网络的文件。 - scan 实现了系统词法分析部分，即是系统自动机的编程实现。 - parser 实现了对数学计算题的结构分析，包括二维计算式的分析和使用递归下降法对算术表达式进行分析。 - calculator 实现了对数学计算题的自动求解。 - solver 是对整个项目的包装，传入题目图片路径，将会对其进行识别和求解。 - evaluator 是使用 160 道题目测试系统的文件。 - 文件夹 testImgs 存放着 160 道测试题集，形式为图片，答案在 evaluator 里面有定义。 - 文件夹 dataset1 是字符数据集。 - My_cnn_model_config5 是使用 16000 步训练后得到的卷积神经网络文件，是 TensorFlow 自动生成并保存的。 - Welcome.py 是负责生成网页。Test.py 是用来测试系统的，main.py 和 solver 一样。 # 四、操作说明 要运行这个系统分为两种，一种是网页模式，一种是接口模式。 - 网页模式： - 参考文章安装 flask 网页框架； - 参考文章配置 python3.6 版本的虚拟环境； - 打开系统目录的 venv 文件夹，解压 lib.zip 文件到本路径下。 - 配置好运行环境后，用 pycharm 打开项目，pycharm 会自动下载本项目所需要的 python 库，等待 pycharm 下载好后，就可以运行网页模式。本项目使用了 flask 网站框架。同时本项目还在虚拟环境下运行，关于配置 flask 和虚拟环境参考文章：、 ​ 首先使用命令行进入本项目路径，然后激活虚拟环境: ​ venv/bin/activate ​ 然后使用指令 ​ export FLASK_APP=welcome.py ​ flask run ​ 如果要退出虚拟环境，输入命令： ​ deactivate - 最后打开浏览器输入地址：127.0.0.1:5000 即可看到项目网页，输入图片，即可获得处理结果。下图是成功运行网页版的截图：  - 接口模式 项目有一个 solver 的 python package。里面的 solve 方法封装了整个系统。其功能是输入一张图片路径，将输出计算题识别过程和计算结果。 使用方法：该函数接收两个参数，第一个参数是文件路径，第二个是处理模式。 处理模式默认为‘product’。其效果是返回一张系统生成包含计算过程和计算结果的图片名称，会在 static 目录下。 还有一种处理模式为‘test’，此模式下 solve 将返回两个字符串，一个是识别出的数学表达式的 latex 输出。还有一个字符串是对应计算题的答案。 其中 test.py 是对单张图片的测试。Evaluation 是对 160 张图片的测试。运行这两个文件则 console 会打印处理结果。 下图是成功运行的结果：  注意事项：当你运行 evaluation 时，请将 config 模块的 MODEL_DIR 改成’../my_cnn_model_config5’。