没有合适的资源？快使用搜索试试~ 我知道了~

文库首页安全技术其它大数据平台概要设计说明书.pdf

大数据平台概要设计说明书.pdf

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

0 下载量 11 浏览量 2021-10-02 14:33:55 上传评论收藏 1.77MB PDF 举报

温馨提示

试读

38页

大数据平台概要设计说明书.pdf

资源推荐

资源详情

资源评论

- 来源网络，仅供个人学习参考

计算平台

概要设计说明书

文件编号受控编号

版次 1.0 密级内部公开

总页数 42 附录

作者：日期： 2013-01-28

批准：日期：

审核：日期：

- 来源网络，仅供个人学习参考

文件修改记录

修改日期修改状态修改页码及条款修改人审核人批准人

- 来源网络，仅供个人学习参考

引言

1.1 编写目的

大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔

街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大

技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、

竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富，价值堪

比石油。因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的

重要抓手。

互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常

生活的渗透。有资料显示，1998 年全球网民平均每月使用流量是 1MB（兆字节），

2000 年是 10MB，2003 年是 100MB，2008 年是 1GB（1GB等于 1024MB），2014

年将是 10GB。全网流量累计达到 1EB（即 10 亿 GB或 1000PB）的时间在 2001

年是一年，在 2004 年是一个月，在 2007 年是一周，而 2013 年仅需一天，即

一天产生的信息量可刻满 1.88 亿张 DVD光盘。我国网民数居世界之首，每天

产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据

产生量超过 50TB（1TB等于 1000GB），存储量 40PB(1PB等于 1000TB)。百度公

司目前数据总量接近 1000PB，存储网页数量接近 1 万亿页，每天大约要处理

60 亿次搜索请求，几十 PB数据。一个 8Mbps（兆比特每秒）的摄像头一小时

能产生 3.6GB 数据，一个城市若安装几十万个交通和安防摄像头，每月产生的

数据量将达几十 PB。医院也是数据产生集中的地方。现在，一个病人的 CT影

像数据量达几十 GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长

时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。

- 来源网络，仅供个人学习参考

信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方

面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增

长更快。 2007 年全球有 5 亿个设备联网，人均 0.1 个； 2013 年全球将有 500

亿个设备联网，人均 70 个。随着宽带化的发展，人均网络接入带宽和流量也

迅速提升。全球新产生数据年增 40%，即信息总量每两年就可以翻番，这一趋

势还将持续。目前，单一数据集容量超过几十 TB甚至数 PB已不罕见，其规模

大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。

数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，

这就是大数据热的原因。鉴于越来越大的数据规模，采用常规基于 DBMS的数

据分析工具和方法已经无法满足大规模数据分析的需求，目前一些大型互联网

公司采用 hadoop 体系进行大规模数据的运算，结合 hadoop 体系结构与实际的

运算需求结合，采用 hadoop 体系结构的分布式运算模型，通过集群的方式实

现大数据运算，为企业提供大数据的价值。

为适应大数据计算的要求，同时提供大数据运算平台的系统设计的依据，特制

定计算平台的系统概要设计文档，为后期的系统详细设计和实现提供依据。

1.2 术语与缩略词

下列术语、定义和缩略语适用于本标准：

术语与缩略词解释

备注

Namenode

HDFS 采用 master/slave 架构。一个 HDFS 集群是由一

个 Namenode 和一定数目的 Datanodes 组成。

Namenode 是一个中心服务器，负责管理文件系统的名字空

间(namespace) 以及客户端对文件的访问。 Namenode 执

剩余37页未读，继续阅读

评论收藏

内容反馈

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

资料大全

粉丝: 14
资源: 26万+

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

大数据平台概要设计说明书.pdf

大数据平台概要设计说明书

概要设计说明书.pdf

概要设计说明书

大数据平台概要设计说明书模板.doc

大数据平台概要设计说明书.doc

大数据平台概要设计说明书.docx

大数据平台数据模型概要设计.pdf

福建生态环境大数据平台概要设计v0.2.pdf

(完整word版)福建省生态环境大数据平台概要设计v0.2.pdf

大数据资源平台概要设计方案.pdf

(完整word版)酒店管理系统概要设计说明书.pdf

(完整版)大学生社团管理系统概要设计说明书.pdf

在线学习平台概要设计说明书.pdf

生态环境大数据平台概要设计v0.2.docx

xxx生态环境大数据平台概要设计v0.2.docx

福建省生态环境大数据平台概要设计v0.2.docx

最新资源