没有合适的资源?快使用搜索试试~ 我知道了~
计算机-后端-面向视频图像的大数据处理平台架构研究分析.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 90 浏览量
2022-06-19
13:05:27
上传
评论
收藏 1.63MB PDF 举报
温馨提示
试读
61页
计算机-后端-面向视频图像的大数据处理平台架构研究分析.pdf
资源推荐
资源详情
资源评论
I
摘 要
伴随着移动互联网和传统互联网的飞速发展,每天都有着数量众多的文档、
图像和视频在互联网上出现。目前,互联网上的视频图像数据量已经达到了 PB
级别,而且它们还将会急速地增长,这表明人们已经进入到了海量视频图像数据
的时代。面对数量如些庞大的视频图像数据,传统的平台已经无法对如此海量
视频图像数据进行处理,而且传统的数据库对于视频图像这种非结构化的数据
也不能很好地存储。因此,如何建立面向视频图像的高效且易扩展的大数据处
理平台来满足海量视频图像的存储与管理,并为视频图像的处理提供所需要的
服务,这成为了研究的重点。
面对这个问题,本文设计了一个面向视频图像的大数据处理平台,为海量
视频图像数据提供了存储、计算与检索功能。在这个大数据平台中,主要依据
视频图像的内容特征进行数据的存储与检索。整个大数据平台是由 Hadoop 和
HBase 所组成的,Hadoop 完成对海量视频图像数据的分布式并行计算,而 HBase
则完成对海量视频图像数据的分布式存储。针对图像数据,采用 SIFT 算法来对
图像的内容特征进行提取,并使用局部敏感哈希函数将提取得到的特征描述子
转化为索引,把相似的特征值映射到同一个哈希桶中并对相关数据进行存储;
而对于视频数据,采用颜色直方图的方式来对其进行镜头分割,并对分割后的
镜头进行关键帧提取,随后按照图像数据的处理方式对关键帧进行处理,并把
相关信息进行存储。在检索时,对需要检索的视频图像数据进行特征提取并构
建索引,依据索引在 HBase 数据表中进行检索并将最相似的 N 个结果返回给用
户。
面向视频图像的大数据处理平台采用的是主从式的架构模式来进行搭建
的,使得平台具有很好的扩展性和容错性。在实验中使用视频图像数据对大数
据平台进行性能测试,测试的结果查表明面向视频图像的大数据平台可以有效
地处理海量的视频图像数据,克服了传统数据处理平台的不足之处。而且,大
数据平台可以快速而有效地对平台中视频图像数据的进行检索并返回给用户。
关键字:大数据平台,视频图像,内容特征,Hadoop,HBase
万方数据
II
Abstract
Along with the development of traditional and mobile Internet, large scale
documents, images and videos appear on the Internet. At present, the amount of
image and video data on the Internet has reached PB lever and it’s growing rapidly,
which indicates that we have entered the era of massive image and video data. In the
face of such huge amounts of image and video data, traditional platforms can’t deal
with the data any more. Meanwhile traditional databases are disable to store this kind
of unstructured image and video data well. Under this circumstance, how to build an
efficient and easily-extensible image and video processing platform to meet the
demand of storing and managing the huge amounts of image and video data,
providing the service of processing images and videos becomes the key point.
Facing this issue, this thesis designs a big data processing platform for images
and videos. The platform provides functions to process the huge amounts of image
and video data, including storing, computing and retrieving. In this platform, store
and retrieve images and videos data on the basis of the data features. Hadoop and
HBase make up this platform. Hadoop implements the distributed parallel
computation to process the data, and HBase implements distributed storage of huge
amounts of image and video data. For image data, use SIFT algorithm to get the
descriptions as the features of the images and then transform the descriptions to
indexes by using Locality-Sensitive Hashing. Map the similar feature descriptions
that have the same index into the same hash bucket and store the image data. For
video data, use color histogram to split video into video shots and extract the
keyframes from the video shot. Then process the keyframes as the way of image
processing and store relevant data and information. When retrieving data, extract the
features from image and video data, build indexes of the features, and retrieve the
data in HBase tales according to the index and return the most similar N images or
videos as result to users.
This big data processing platform is built on the foundation of master-slave
architecture, which makes the the platform has good expansibility and fault tolerance.
In this thesis, use experiments to test the performance of the platform through
万方数据
III
processing image and video data. The results of the experiments indicate that the
platform has overcome the shortcomings of traditional platforms and it can process
huge amounts of image and video data efficiently. The results also indicate that the
platform can quickly and efficiently return the relevant data to users by retrieving the
huge amoumts of image and video data.
Key words: Big Data Platform, Videos and Images, the Content Characteristics,
Hadoop, HBase
万方数据
i
目 录
摘 要 .............................................................................................................................................. I
Abstract ............................................................................................................................................ II
第 1 章 绪论 ................................................................................................................................... 1
1.1 研究背景与意义 ............................................................................................................... 1
1.2 国内外研究现状 ............................................................................................................... 2
1.2.1 基于内容的图像特征提取 ..................................................................................... 2
1.2.2 视频关键帧提取方法............................................................................................. 3
1.2.3 大数据技术的发展和其在视频图像中的应用 ..................................................... 4
1.3 主要研究内容 ................................................................................................................... 5
1.4 论文组织结构 ................................................................................................................... 6
第 2 章 面向视频图像的大数据平台架构设计 ............................................................................ 7
2.1 大数据平台技术介绍 ....................................................................................................... 7
2.1.1 大数据平台架构分析............................................................................................. 7
2.1.2 Hadoop 分布式架构 ............................................................................................. 10
2.1.3 HBase 非关系型数据库 ....................................................................................... 13
2.2 面向视频图像的大数据处理平台架构 ......................................................................... 15
2.2.1 平台总体架构 ...................................................................................................... 15
2.2.2 分布式集群架构 .................................................................................................. 17
2.3 本章小结 ......................................................................................................................... 18
第 3 章 面向内容的海量视频图像大数据平台的存储与检索 .................................................. 19
3.1 基于内容的视频图像特征提取...................................................................................... 19
3.1.1 SIFT 特征提取 ..................................................................................................... 19
3.1.2 局部敏感哈希 ..................................................................................................... 23
3.1.3 视频内容特征的提取.......................................................................................... 25
3.1.4 实验结果与分析 ................................................................................................. 29
3.2 面向图像特征的大数据存储 ........................................................................................ 32
3.2.1 基于 HBase 的图像存储 ...................................................................................... 32
3.2.2 基于 MapReduce 的图像特征提取与索引建立 ................................................. 32
3.3 面向视频内容特征的大数据存储 .................................................................................. 36
3.3.1 基于 HBase 的视频存储 ...................................................................................... 36
3.3.2 基于 MapReduce 的视频关键帧提取及索引建立 ............................................. 37
3.4 大数据平台下基于内容特征的视频图像检索 .............................................................. 39
3.5 本章小结 ......................................................................................................................... 41
第 4 章 面向视频图像大数据平台性能分析 .............................................................................. 42
4.1 大数据平台环境搭建 .................................................................................................... 42
4.2 大数据平台下的视频图像存储..................................................................................... 45
4.3 大数据平台下的视频图像检索..................................................................................... 48
4.4 本章小结 ........................................................................................................................ 51
第 5 章 总结与展望 ..................................................................................................................... 52
万方数据
ii
5.1 全文总结 ........................................................................................................................ 52
5.2 展望 ................................................................................................................................ 53
致 谢 ............................................................................................................................................. 54
参考文献 ....................................................................................................................................... 55
攻读学位期间获得与学位论文相关的科研成果 ........................................................................ 59
万方数据
剩余60页未读,继续阅读
资源评论
programmh
- 粉丝: 4
- 资源: 2163
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- tensorflow-2.9.3-cp39-cp39-win-amd64.whl
- tensorflow-2.9.3-cp37-cp37m-win-amd64.whl
- tensorflow-gpu-2.9.2-cp37-cp37m-win-amd64.whl
- matlab的低通,高通,带通滤波器代码设计
- 系统字体下载 字体文件-仿宋-黑体-楷体-楷体-GB2312-宋体-常规 文件.zip
- 演示设计-PPT模板-水墨风格-艺术与文化展示-水墨风格PPT模板:优雅设计,适合艺术与文化演示.zip
- view_video.php.html
- 涂个壁纸.apk
- hot-spicy pot.csv
- 二进制格式的BPSK中频数据,可以用来进行解调系统的开发
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功