大数据与云计算培训资料.docx资源-CSDN文库

版权申诉

word文档

管理类文档

172 浏览量 2021-12-28 18:33:16 上传评论收藏 1019KB DOCX 举报

资源推荐

资源详情

资源评论

大数据与云计算

摘要：近年来，大数据和云计算已经成为社会各界关注的热点话题。秉承“按需服务”理念

的“云计算（Cloud computing）”正高速发展，“数据即资源”的“大数据（big data）”时代

已经来临[1]。大数据利用对数据处理的实时性、有效性提出了更高要求，需要根据大数据

特点对传统的常规数据处理技术进行技术变革，形成适用于大数据收集、存储、管理、处理、

分析、共享和可视化的技术。如何更好地管理和利用大数据已经成为普遍关注的话题。大数

据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正

在酝酿和发生。本文所提到的大数据包含着云计算，因为云计算是支撑大数据的平台。

关键词: 大数据云计算数据分析数据挖掘

引言

在学术界，大数据这一概念的提出相对较早。2008 年 9 月，《自然》杂志就推出了名

为“大数据”( big data) 的专刊。2011 年 5 月，麦肯锡全球研究院发布了名为《大数据:

创新、竞争和生产力的下一个前沿》(Big data: The next frontier for innovation，competition，

and productivity)的研究报告，指出大数据将成为企业的核心资产，对海量数据的有效利用将

成为企业在竞争中取胜的最有力武器。2012 年，联合国发布大数据政务白皮书，指出大数

据可以使用极为丰富的数据资源来对社会经济进行前所未有的实时分析，帮助政府更好地响

应社会和经济运行。2012 年 3 月 29 日，奥巴马政府发布了《大数据研究与发展计划倡

议》，宣布启动对大数据的研发计划，标志着美国把大数据提高到国家战略层面，将“大数

据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。

大数据应用正在风靡全球，大数据精准营销成为企业掌舵者的口头禅，那么大数据真的

是无懈可击吗？答案显然是否定的。随着互联网和移动设备的普及，大数据已经在我们的生

活中无处不在，而有关大数据与隐私的问题也日益受到关注。毫无疑问，未来可以获得的个

人数据量越多，其中的信息量就越大。只要拥有了足够多的数据，我们甚至可能发现有关于

一个人的未来信息。另外市场是变化无常并且不可预期的，决策者的创造性思维并不能通过

数据得以体现，相反，大数据在压制创新。大数据搜集到的数据的真实性也有待检验。一个

人获得的数据和事实越多，预测就越有意义，人的判断也就显得愈发重要。人类、数据集和

算法的协同进化将最终决定“大数据”究竟是会创造新财富，还是会摧毁旧价值。

本文首先介绍了云计算的相关概念，云计算为大数据的诞生创造了物质基础，从而引出

大数据的相关概念。通过大数据与云计算之间关系的比较，使读者对大数据与云计算有一个

清晰的了解。文章介绍了大数据特征、作用以及对大数据分析的方法理论，对大数据的两种

处理模式、处理流程以及关键技术进行了分析，提出 MapReduce 与关系数据库融合技术，

为未来大数据的工作提供了一个参考。

1 云计算简介

正如维克托教授所说，大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰

山的一角，绝大部分都隐藏在表面之下。而发掘数据价值、征服数据海洋的“动力”就是云

计算[2]。本章首先对云计算进行相关介绍。

1.1 云计算的概念

由于云计算是由不同的企业和研究机构同步推进的技术，所以关于云计算的定义有很多，

至今并没有一个公认的定义和标准。

结合国际 20 位专家的定义，Ian Foster 定义云计算为一个由规模经济驱动的大型分布

式计算模型，在该模型中，抽象的、虚拟化的、动态可伸缩的并可管理的计算资源、存储资

源、平台和服务构成了一个资源池。资源池中的资源通过互联网，按需提供给池外的用户。

文献[3]归纳的云计算定义为：云是由易于使用的虚拟资源构成的一个巨大资源池，包

括硬件资源、部署平台以及相应的服务。根据不同的负载，这些资源可以动态地重新配置，

以达到一个最理想的资源使用状态。资源池中的资源是按需付费的，服务提供商通过服务等

级协议（Service Level Agreement，SLA）保证用户的服务质量。

综合其他资料，可以将云计算归纳为：云计算以虚拟化技术为核心，虚拟化技术将共享

的硬件和软件资源抽象化成一个统一的资源池，通过互联网这个载体，向用户按需地提供所

需的资源。其特点在于多用户共享、大数据处理与大数据存储[8]。

云计算严格地来说并不是一种真正新的技术，而是并行计算（Parallel Computing，PC）

等计算模式的进一步演进。由于云计算的主要标准和方案是由企业推进的，也可以说云计算

是分布式计算模型的商业实现。

1.2 云计算部署及服务模式

根据云计算服务对象范围的不同，云计算有四种部署模式（如图 1 所示）：私有云、社

区云、公有云和混合云[10]。

私有云(Private cloud)：云计算出现之前，对于数据密集型或计算密集型任务，用户需

要建立数据中心来提供服务，以满足其对数据存储、计算、通信能力的要求。用户需对数据

中心进行运维和安全管理，对服务器上的数据和应用具有所有权和控制权。云计算出现后，

这种传统的用户/服务提供者模式逐渐发展成私有云模式。私有云是由一个用户组织（例如

政府、军队，企业）建立运维的云计算平台，专供组织内部人员使用，不提供对外服务。私

有云能够体现云计算的部分优势，例如计算资源的统一管理和动态分配。但是，私有云仍要

求组织购买基础设施，建立大型数据中心，投入人力物力来维护数据中心的正常运转，由此

可见，私有云系统提高了组织的 IT 成本，而且使云的规模受到了限制。由于私有云的开放

性不高，在几种部署模式中，私有云的安全威胁相对较少。

社区云(Community cloud)：也称为机构云，云基础设施由多个组织共同提供，平台由

多个组织共同管理。社区云被一些组织共享，为一个有共同关注点（例如，任务、安全需求、

策略或政策准则等）的社区或大机构提供服务。显然，社区云的规模要大于私有云，多个私

有云可通过 VPN 连接到一起组成社区云，以满足多个私有云组织之间整合和安全共享的需

求。

公有云(Public cloud)：公有云的基础设施由一个提供云计算服务的大型运营组织建立

和运维，该运营组织一般是拥有大量计算资源的 IT 巨头，例如 Google、微软、Amazon、百

度等大型企业。这些 IT 公司将云计算服务以“按需购买”的方式销售给一般用户或中小企

业群体。用户只需将请求提交给云计算系统，付费租用所需的资源和服务。对用户来说，不

需要再投入成本建立数据中心，不需要进行系统的维护，可以专心开发核心的应用服务。目

前，亚马逊的 EC2、Google App Engine、Windows Azure[9]、百度云等都属于公有云计算系

统。由于公有云的开放性较高，而用户又失去了对数据和计算的控制权，因此，与私有云相

比，公有云的数据安全威胁更为突出。

混合云(Hybrid cloud)：云基础设施是由两种或两种以上的云（私有云、社区云或公有云）

组成，每种云仍然保持独立，但用标准的或专用的技术将它们组合起来，具有数据和应用程

序的可移植性，例如混合云可以在云之间通过负载均衡技术应付突发负载。由于混合云可以

是私有云和公有云的组合，某些用户选择将敏感数据和计算外包到私有云，而将非敏感数据

和计算外包到公有云中，这种使用模式下，服务在不同云之间的安全无缝连接较难实现。

图 1 云计算的几种部署模式

计算就要有计算环境，一般计算环境都有硬件的一层，资源组合调度的一层（即操作系

统层），以及计算任务的应用业务的软件层。云计算与一般计算环境的三个层面类似，云计

算提供的三种服务模式就对应了计算环境的三个层面。这三种服务模式分别是基础设施即服

终端用户不具有网络、操作系统、存储等底层云基础设施的控制权，也不能控制应用的执行

过程，只有非常有限的与应用相关的配置能力。SaaS 使用户以最小的开发和管理开销获得

定制的应用。典型的 SaaS 服务有 Salesforce 公司的 CRM 系统，Google Docs 等。

1.3 云计算的特点和优势

云计算作为分布式计算的优势：

(1). 分布式系统的最大优势就是因为其具有比集中式系统更好的性能价格比，用户花少

量的钱就能获得高效能计算。由于“云”的特殊容错措施可以采用极其廉价的节点

来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管

理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充

分享受“云”的低成本优势。

(2). 多数应用本身就是分布式的。如工业企业应用，管理部门和现场不在同一个地方的

应用。

(3). 虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源

来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户

无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就

可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。

(4). 高可靠性。冗余不仅是生物进化的必要条件，而且也是信息技术。现代分布式系统

具有高度容错机制，控制核反应堆主要采用分布式来实现高可靠性。

(5). 通用性。云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，

同一个“云”可以同时支撑不同的应用运行。

(6). 可扩展性。添置一台性能更高的大型机，或者添置一台性能相同的大型机的费用都

比添加几台 PC 的费用高得多。

(7). 高度灵活性。能够兼容不同硬件厂商的产品，兼容低配置机器和外设而获得高性能

计算。

云计算在存储领域的发展趋势和优势：

(1). 用户不必为文件存储硬件投入任何前期的费用。

(2). 主机服务提供商会维护用户文件服务器的安全和更新问题。

(3). 方便的控制访问权限和文件资源管理。

剩余23页未读，继续阅读

评论收藏

内容反馈

版权申诉

m0_63647568

粉丝: 0
资源: 8万+

大数据与云计算培训资料.docx

大数据财务分析实训总结.docx

中医药与大数据.docx

新媒体培训知识点总结.docx

HCIA-Cloud Computing V5.0 培训教材

计算机网络安全研究.docx

企业知识管理平台设计方案.docx

网络安全调研报告.docx

2022《智能商业》读后感.docx

数字化信息化咨询服务技术方案（专业完整版）.docx

Git-2.44.0-64-bit.exe

Git-2.45.1-64-bit.exe

基于微信小程序的点餐系统设计与实现 毕业论文.docx

PMP项目管理模板（全套157个文档）

Axure9元件库大合集（27种）

各种Excel甘特图模板30几个特别全

Rational Rose 2007

（64位）Git-2.44安装包

CMMI模型V2.0_中文完整版.pdf

基于微信小程序图书馆座位预约系统设计与实现

超级实用的软件著作权申请源代码材料格式文档生成辅助工具-软著源代码生成工具

基于微信小程序点餐系统的设计与实现（含word论文）

基于Python的招聘网站爬虫及可视化的设计与实现(论文下载)

信号与系统实验1-LTI连续系统时域响应测试与分析

毕业设计-仓库管理信息系统设计与实现(论文+源码+ppt答辩+开题报告+任务书)

enterprise architect 15中文版 v15.0.1509.rar

另一个非常实用且美观的Excel项目日期甘特图3

全国最新行政区划，包括省、市、区、街道四个级别(2024年5月15日-来源与腾讯地图)

Axure设计-表格（中继器）

信号与系统实验2-LTI连续信号与系统的频域分析.zip

最新资源

基于微信小程序的点餐系统设计与实现毕业论文.docx