论文研究-基于MXNet的物联网数据处理实现 .pdf
需积分: 9 39 浏览量
2019-08-14
17:19:17
上传
评论
收藏 472KB PDF 举报
http://www.paper.edu.cn
- 1 -
中国科技论文在线
基于 MXNet 的物联网数据处理实现
王诗瑶，章洋
**
作者简介：王诗瑶（1992-），女，硕士研究生，服务计算
通信联系人：章洋，男，副教授，服务计算. E-mail: yangzhang@bupt.edu.cn
（北京邮电大学网络技术研究院，北京 100876）
5
摘要：深度神经网络近年来得到了快速发展，被广泛应用于各种数据处理、模式识别等问题
中。本文针对物联网数据处理的难点，基于优秀的深度学习框架 MXNet 实现了深度神经网
络，对物联网数据进行处理，对训练好的模型提供了 Web 服务接口。并分析了 MXNet 框架
在数据并行中数据分配问题上的不足，提出了动态负载均衡算法，实现了高性能的数据处理。
关键词：深度神经网络；MXNet；负载均衡；分布式 10
中图分类号：TP311
Realization of Data Processing of Internet of Things Based
on MXNet
WANG Shiyao, ZHANG Yang 15
(Network Technology Research Institute, Beijing University of Posts and Telecommunications)
Abstract: Deep neural network has been developed rapidly in recent years, and is widely used in
various data processing and pattern recognition. In this paper, based on the deep learning
framework MXNet, the depth neural network is implemented to deal with the data of the Internet
of Things and the Web service interface is provided for the trained model. The problem of data 20
allocation in data parallelization is analyzed, and a dynamic load balancing algorithm is proposed
to realize high performance data processing.
Key words: neural network; MXNet; load balancing; distributed enviroment
0 引言 25
物联网环境下，数据来源复杂多样，例如传感器、摄像头和越来越多的智能设备，数据
特点是关系复杂、类型多样、难以独立起效，处理上寻找确定的表达式
[1,2]
。另外，体积庞
大与生成快速也是数据处理上的难点。
近年来，深度学习在解决抽象认知的问题上取得了突破性进展。深度学习
[3]
可以通过高
效的分层特征提取方法来代替手工提取特征
[4]
，很好地解决了物联网数据关系复杂、难以寻30
找确定表达式的难题。本文将深度学习引入到物联网数据的处理中，将大量的存储数据作为
训练集，并且采用动态负载均衡算法提升了性能；将训练得到的模型发布为 Web 服务，数
据流通过 Web 服务调用模型得到高效处理。
本文使用了 MXNet
[5]
作为深度学习处理的核心框架。MXNet 是一个灵活、高性能且高
扩展性的深度学习框架，使用声明式的符号表达式定义神经网络，使用方便，在节省内存、35
分布式效率方面都有很好的表现。本文基于 MXNet 框架，采用深度学习算法，实现对物联
网数据的处理。
1 基于 MXNet 处理物联网数据
1.1 深度学习和 MXNet 框架
一般情况下，机器学习算法解决问题主要经过预处理、特征提取、特征选择，在经过推40
评论0
最新资源