在Android使用深度学习模型实现图像识别(毕设&课设&实训&大作业&竞赛&项目)

> 原文博客：[Doi技术团队](http://blog.doiduoyi.com)<br/> > 链接地址：[https://blog.doiduoyi.com/authors/1584446358138](https://blog.doiduoyi.com/authors/1584446358138)<br/> > 初心：记录优秀的Doi技术团队学习经历<br/> >本文链接：[基于Paddle Lite在Android手机上实现图像分类](https://blog.doiduoyi.com/articles/1596345808188.html)<br/> # 前言 Paddle Lite是飞桨基于Paddle Mobile全新升级推出的端侧推理引擎，在多硬件、多平台以及硬件混合调度的支持上更加完备，为包括手机在内的端侧场景的AI应用提供高效轻量的推理能力，有效解决手机算力和内存限制等问题，致力于推动AI应用更广泛的落地。 # 模型转换 Paddle Lite使用的是PaddlePaddle保存的预测模型，如果不了解PaddlePaddle的模型保存，可以参考[《模型的保存与使用》](https://blog.doiduoyi.com/articles/1584974792165.html)这篇文章。下面简单介绍一下保存模型的方式。通过使用`fluid.io.save_inference_model()`接口可以保存预测模型，预测模型值保存推所需的网络，不会保存损失函数等。当使用`model_filename`和`params_filename`指定参数之后，保存的预测模型只有两个文件，这种称为合并模型，否则会以网络结构命名将大量的参数文件保存在`dirname`指定的路径下，这种叫做非合并模型。例如通过以下的代码片段保存的预测模型为`model`和`params`，这两个模型将会用于下一步的模型转换。 ```python import paddle.fluid as fluid # 定义网络 image = fluid.layers.data(name='img', shape=[1, 28, 28], dtype='float32') label = fluid.layers.data(name='label', shape=[1], dtype='int64') feeder = fluid.DataFeeder(feed_list=[image, label], place=fluid.CPUPlace()) predict = fluid.layers.fc(input=image, size=10, act='softmax') loss = fluid.layers.cross_entropy(input=predict, label=label) avg_loss = fluid.layers.mean(loss) exe = fluid.Executor(fluid.CPUPlace()) exe.run(fluid.default_startup_program()) # 数据输入及训练过程 # 保存预测模型 fluid.io.save_inference_model(dirname="mobilenet_v2/", feeded_var_names=[image.name], target_vars=[predict], executor=exe, model_filename="model", params_filename="params") ``` ## opt转换 使用`fluid.io.save_inference_model()`接口可以保存预测模型并不能直接使用，还需要通过opt工具转换，这个工具可以下载Paddle Lite预编译的，或者通过源码编译，opt下载地址：[https://paddle-lite.readthedocs.io/zh/latest/user_guides/release_lib.html#opt](https://paddle-lite.readthedocs.io/zh/latest/user_guides/release_lib.html#opt)，关于如何编译opt请看下一部分。 通过以下命令即即可把预测模型转变成Paddle Lite使用的模型，其中输出的`mobilenet_v2.nb`就是所需的模型文件，因为转换之后，模型可以在`valid_targets`指定的环境上加速预测，所以变得非常牛B，因此后缀名为`nb`（开个玩笑）。 ``` ./opt \ --model_file=mobilenet_v2/model \ --param_file=mobilenet_v2/params \ --optimize_out_type=naive_buffer \ --optimize_out=mobilenet_v2 \ --valid_targets=arm opencl \ --record_tailoring_info=false ``` 上面参数的说明如下表所示，其中需要关注的是`valid_targets`参数，要看模型用着上面设备上，通过指定backend可以使用更好的加速方式。有些读取可能会出现这样的疑问，上面使用的是合并的模型，没合并的模型怎样用呢，其实很简单，只有设置`--model_dir`，忽略`--model_file`和`--param_file`就可以了。 | 参数 | 说明 | |--|:--| | --model_dir | 待优化的PaddlePaddle模型（非combined形式）的路径 | | --model_file | 待优化的PaddlePaddle模型（combined形式）的网络结构文件路径。 | | --param_file | 待优化的PaddlePaddle模型（combined形式）的权重文件路径。 | | --optimize_out_type | 输出模型类型，目前支持两种类型：protobuf和naive_buffer，其中naive_buffer是一种更轻量级的序列化/反序列化实现。若您需要在mobile端执行模型预测，请将此选项设置为naive_buffer。默认为protobuf。 | | --optimize_out | 优化模型的输出路径。 | | --valid_targets | 指定模型可执行的backend，默认为arm。目前可支持x86、arm、opencl、npu、xpu，可以同时指定多个backend(以空格分隔)，Model Optimize Tool将会自动选择最佳方式。如果需要支持华为NPU（Kirin 810/990 Soc搭载的达芬奇架构NPU），应当设置为npu, arm。 | | --record_tailoring_info | 当使用 根据模型裁剪库文件 功能时，则设置该选项为true，以记录优化后模型含有的kernel和OP信息，默认为false。 | ## 源码编译opt 上面所使用的opt工具是通过下载得到的，如果读者喜欢折腾，可以尝试自行源码编译编译，首先是环境搭建，环境搭建有两种方式，第一种是使用Docker，第二种是本地搭建环境。 1. 使用Docker容器，只要3条命令即可搭建环境，这个也是最简单的方式。 ```bash # 拉取Paddle Lite镜像 docker pull paddlepaddle/paddle-lite:2.0.0_beta # 克隆源码 git clone https://github.com/PaddlePaddle/Paddle-Lite.git # 进行Paddle Lite容器 docker run -it \ --name paddlelite_docker \ -v $PWD/Paddle-Lite:/Paddle-Lite \ --net=host \ paddlepaddle/paddle-lite /bin/bash ``` 2. 在Ubuntu本地搭建Paddle Lite编译环境，通过执行以下命令在Ubuntu本地完成环境搭建。 ```bash # 1. 安装基本环境 apt update apt-get install -y --no-install-recommends \ gcc g++ git make wget python unzip adb curl # 2. 安装Java环境 apt-get install -y default-jdk # 3. 安装Cmake wget -c https://mms-res.cdn.bcebos.com/cmake-3.10.3-Linux-x86_64.tar.gz && \ tar xzf cmake-3.10.3-Linux-x86_64.tar.gz && \ mv cmake-3.10.3-Linux-x86_64 /opt/cmake-3.10 && \ ln -s /opt/cmake-3.10/bin/cmake /usr/bin/cmake && \ ln -s /opt/cmake-3.10/bin/ccmake /usr/bin/ccmake # 4. 安装NDK cd /tmp && curl -O https://dl.google.com/android/repository/android-ndk-r17c-linux-x86_64.zip cd /opt && unzip /tmp/android-ndk-r17c-linux-x86_64.zip # 5. 添加环境变量 echo "export NDK_ROOT=/opt/android-ndk-r17c" >> ~/.bashrc source ~/.bashrc ``` 在以上的环境中编译opt工具，执行以下命令即可完成编译，编译完成之后，在`build.opt/lite/api/`下的可执行文件`opt`。 ``` cd Paddle-Lite && ./lite/tools/build.sh build_optimize_tool ``` # Paddle Lite的Android预测库 Paddle Lite的Android预测库也可以通过下载预编译的，或者通过源码编译。下载地址为：，注意本教程使用的是静态库的方式，而且使用的是图像识别的，所以需要选择的下载库为with_extra=ON，arm_stl=c++_static，with_cv=ON的armv7和armv8库。下载解压之后得到的目录结构如下，其中我们所需的在`java`的jar和so动态库，注意32位的so动态库放在Android的`armeabi-v7a`目录，64位的so动态库放在Android的`arm64-v8a`目录，jar包只取一个就好。 ``` inference_lite_lib.android.armv8/ |-- cxx C++ 预测库和头文件 | |-- include C++ 头文件 | | |-- paddle_api.h | | |-- paddle_image_preprocess.h | | |-- paddle_lite_factory_helper.h | | |-- paddle_place.h | | |-- paddle_use_kernels.h | | |-- paddle_use_ops.h | | `-- paddle_use_passes.h | `-- lib C++预测库 | |-- libpaddle_api_light_bundled.a C++静态库 | `-- libpaddle_light_api_shared.so C++动态库 |-- java Java预测库 | |-- jar | | `-- PaddlePredictor.jar | |-- so | | `-