云计算和大数据的区别.pdf

云计算和大数据的区别 云计算和大数据是两个相关但不同的概念。云计算是指硬件资源的虚拟化，以便更好地分配和使用计算资源，而大数据是指海量数据的高效处理和分析。以下是对云计算和大数据的详细解释： 云计算： * 云计算是指硬件资源的虚拟化，以便更好地分配和使用计算资源。 * 云计算领域的老大是 Amazon，提供了商业化的标准。 * 另外值得关注的还有VMware，它帮助我们理解云计算和虚拟化的关系。 * 开源的云平台最有活力的就是 Openstack。 大数据： * 大数据相当于海量数据的“数据库”。 * 大数据处理一直在向着近似于传统数据库体验的方向发展。 * Hadoop 的产生使我们能够用普通机器建立稳定的处理 TB 级数据的集群。 * PigLatin 和Hive 等技术为我们带来了类 SQL 的操作，提高了大数据处理的效率。 * Google 的 Dremel/PowerDrill 等技术和 Cloudera 的 Impala 也出现了，提高了大数据处理的效率和交互性。 大数据的 4V 特性： * 类型复杂 * 海量 * 快速 * 价值 大数据的总体架构包括三层： * 数据存储层：解决类型复杂和海量问题 * 数据处理层：解决快速和时效性问题 * 数据分析层：解决价值问题 数据存储层： * 数据分为结构化、半结构化、非结构化等多种类型 * 传统的结构化数据库已经无法满足数据多样性的存储要求，因此出现了NoSQL 数据库和 hdfs 分布式文件系统 * 可以对存储层进一步的封装，形成一个统一的共享存储服务层，简化这种操作 数据处理层： * 核心解决问题在于数据存储出现分布式后带来的数据处理上的复杂度和时效性要求 * 可以将 hive，pig 和 hadoop-mapreduce 框架相关的技术内容全部划入到数据处理层的能力 数据分析层： * 重点是真正挖掘大数据的价值所在 * 核心仍然在于传统的 BI 分析的内容，包括数值分析、数据挖掘和数据可视化等 云计算和大数据是两个相关但不同的概念，云计算是指硬件资源的虚拟化，大数据是指海量数据的高效处理和分析。了解两者的区别和关系对于我们更好地理解和应用这两个概念非常重要。