海量数据的处理流程

如何从“小”做起？

海量数据的意义

海量数据的时代

什么是海量数据？

《云计算核心技术剖析》

上海人云科技团队 上海人云科技团队组建于2010年底，团队的成员主要来自于IBM中国研究院和上海贝尔阿尔卡特等著名IT企业。现在力推的产品是用于海量数据的YunTable，并即将在11月底正式对外发布其企业级版。同时已在2011年中发表《云计算核心技术剖析》一书，此书受到业界极大的关注和好评，并已经印刷万册。

汇报内容 需求分析与数据流分析 数据库逻辑模型设计 物理模型设计 功能实现介绍 总结与展望

超市管理信息系统 小组成员： 指导教师： 2011年12月10日 数据库课程设计

直接从官网http://www.toadworld.com/downloads下载Toad for db2 Free Trial最新版6.5。安装完毕后在Help--Licensing下输入文件中相应的Key和Site Message即可激活成功。

下载安装后即可使用，安装方便！

根据百度地图最新提取的全国矢量数据格式，包括河流湖泊，公路铁路乡村道路，医院等信息。

IBM DB2视频教程 数据库经典教材

Quest Central for DB2免安装版本，解压后，点击名为QuestCentral应用程序文件，即可使用，简单方便便捷

A.7.1 数据字典 图A - 1 6描述了数据字典所扮演的角色。 在操作型处理中的E R D开发和文件编制、D I S开发、物理数据库设计和编码等活动中，数 据字典起着核心的作用。数据字典在数据仓库开发的世界中的数据模型分析、主题领域选择、 源系统选择(记录标识系统)和编程中也起着重要作用。 图A-15 方法之十五 A.7.2 现有系统怎样？ 极少情况下，开发工作是在没有现有系统储备

A.6.3 估计开发需要的资源 看一下图A - 1 2，当准确地指明了要产生多少个提交后，就能够合理地估计开发过程需要 多少资源了。 图A - 1 3显示了一个简单的技术，首先定义每个层次的提交，这样整个提交的数目就可以 知道了。然后建立每个提交所需的时间乘以每个提交的资源，产生一个需要雇员资源量的估 计。 附 录 211 下载 不成熟的 系统需求 开发的阶段 形式化的需求 完全的功能分解 程

10.1 进行设计复查所涉及的问题 在数据仓库环境中，一旦一个主要的主题领域设计好以后，并准备加入到数据仓库环境 中时，就应开始做设计复查。但并不是每建一个新的数据库就需要做设计复查，相反，当整 个新的主题领域加入数据库中时，就有必要进行设计复查。 10.1.1 谁负责设计复查 设计复查时的参加者包括那些与所复查的 D S S主题领域有关的开发人员、操作人员或使 用人员。 通常情况下，包括

A.6.2 一个提交的线性流程 除了启发式处理，可以期望一个线性的提交流程。图 A - 11显示了执行数据 -驱动开发方法 的过程分析部件产生的提交的例子。 图A-11 方法之十一，操作型处理分析提交的线性流程 210 数 据 仓 库 下载 I N D 1 I N D 2 I N D 4 确定需要的数据 编程抽取数据 分析数据 完成的需求 数据从数据 仓库中抽出 编程归并、 分析和与其 他

9.9 操作型开发/DSS开发 数据驱动方法将分三个部分给出：方法 1、方法2和方法3。方法的第一部分即方法 1是用 于操作型系统和处理的，习惯于传统的结构化的操作型方法的人对这部分的方法或许很熟悉。 方法2是用于D S S系统和处理的，也就是数据仓库的，这部分方法的本质在于将数据模型作为 媒介物，以它为中心找出数据的共同性。正是在附录的这部分描述了数据仓库的开发方法。 方法的第三部分即方法

9.4 方法和迁移 本书的附录中讨论了一个构造数据仓库的方法。实际上，该方法的范围相当大，因为其 中不仅包含如何建立数据仓库，而且也说明如何使用数据仓库。另外，其中也包含了开发操 作型环境的典型工作方法，这些方法形成了所谓“数据驱动”的方法学。 讨论的方法在几个方面与迁移路径有所不同。迁移路径动态地描述总体工作步骤。而此 方法讨论特定的工作步骤，从这些工作得到的可提交的数据以及这些工作的次序。

9.6 数据驱动的方法 为什么一种方法叫做数据驱动的方法呢？数据驱动的方法与任何其他方法有什么区别？ 数据驱动的方法起码有如下两个显著的特点： ■ 数据驱动的方法不是按照一个应用接一个应用的方法去开发系统的。相反地，原先已 建立好的代码和数据被作为新代码和数据的基础，而不是新老并立。要建立在原先的 成果之上，就必须找出数据和处理的共同性。一旦找出共同性，已有的数据就可以作 为基础，若不存在任何

9.3 策略方面的考虑 图9 - 5表明，图中所描述的各个活动的路径强调了企业的 D S S需求。 设计和建立数据仓库环境的目的是用于为企业的 D S S需求提供支持，但除D S S外，企业也 有其他方面的需求。图9 - 6表明，企业也有操作型需求。 如图9 - 6所示，其中的操作型环境处于一种混乱状态。操作型环境中有许多未集成的数据， 其中包含的数据和系统都已很老了，有很多补丁，已经无法再对

9.1 一种迁移方案 这种迁移方案的起点是一个数据模型。数据模型描述企业的信息需求。它指出一个企业 所需要的，而并不一定是企业当前所具有的东西。在建立这个模型时，并不考虑任何技术问 题。 数据模型可以在内部建立起来，或者可以在一个普通的数据模型的基础上建立起来。数 据模型(至少！)需要给出如下的内容： ■ 企业的主要主题。 ■ 各个主要主题之间的各种关系。 ■ 更全面地描述主要主题的键码组和属

8.6 间接报告 不仅原始数据能放入数据仓库，而且当数据循环重复时，间接报告可以按时间根据细节 数据来产生。例如图8 - 9所示的月底道·琼斯平均指数报告。 图8-9 根据每日或每月的信息创建一个总结报告 在图8 - 9中，道·琼斯平均指数信息每天输入数据仓库环境。每天的信息是有用的，但更 感兴趣的是由此产生的长期趋势信息。月底，有关道·琼斯平均指数的信息记入一个“间接” 报告中，于是间接

9.2 反馈循环 数据仓库开发成功的关键是数据体系结构设计者和D S S分析者之间的反馈循环,如图9 - 4所示。 第9章 迁移到体系结构设计环境 167 下载 现存系统环境 现存系统环境 开始载入第一个主题区 继续载入并鼓励数 据集市部门使用 警告：如果你等着“清理”好现存系 统而不作出反馈的话，你将“永远” 无法建立一个数据仓库。

8.4 外部数据/非结构化数据的不同组成部分 外部数据 /非结构化数据的重要设计问题之一是其经常包括许多不同的组成部分，其中一 些组成部分比另外一些更有用。作为一个例子，考虑一个产品的完整生产历史记录。生产过 程的某些方面是很重要的，如从开始到最后装配的时间。另一个重要的生产度量是所有非装 配的原材料的总成本。但还有许多其他不重要的信息同样也与生产信息相关，例如生产的实 际日期、装运说明书、生

8.2 元数据和外部数据 在任何方案中，元数据都是数据仓库的一种重要组成部分。但是，当面对存储和管理外 部数据与非结构化数据时，元数据的作用呈现出完全不同的一面。图8 - 5表示了元数据的作 用。 图8-5 对外部数据/非结构化数据，元数据起着新的作用 元数据是很重要的，因为在数据仓库环境中正是通过元数据来对外部数据进行注册、访 问与控制的。在数据仓库中对于外部数据来说，元数据的典型内容就

8.3 存储外部数据/非结构化数据 如果方便且费用允许的话，外部数据 /非结构化数据实际上可以存储在数据仓库中。但在 图8-7 在任何情况下，外部数据/非结构化数据总是与元数据一起进行登记的， 但实际数据依据其大小和存取概率来决定是否存储在数据仓库中 第8章 外部数据/非结构化数据与数据仓库 159 下载 通知文件 非结构化 数据 外部数据 元数据 数据仓库 非结构化 数据 外部数据 元数

8.1 数据仓库中的外部数据/非结构化数据 在数据仓库中，存在一些与外部数据 /非结构化数据的使用和存储相关的问题。在图8 - 3中 所给出的非结构化数据所存在的一个问题是可用频率。与内部出现的数据不同，外部数据没 有呈现的真正模式。当为了确保捕获正确的数据，而必须建立永久的监控方式时，呈现的频 率就成为一个问题。 图8-3 与外部数据有关的问题： • 访问的频率 • 数据的形式 • 不可

第8章 外部数据/非结构化数据与数据仓库 大部分组织是以现有系统为来源的数据（即企业的内部数据）上建立其第一个数据仓库。 在绝大部分情况下，从现有系统抽取的数据可称为内部结构化数据。数据来自于企业内部， 并且数据已经被变换成一种规则的格式。 但是，企业合法使用的其他大量数据却并非产生于企业本身的系统。这类数据称作外部 数据，通常这些数据是以非结构化的、不可预测的格式进入企业的。图8 - 1表示了进

7.8 在EIS中只保存汇总数据 但是只保存汇总数据也存在一些现实问题。第一个问题就是汇总数据蕴涵着一个过程— 汇总数据永远是计算过程的结果。计算可能简单也可能复杂。任何情况下都不存在孤立的汇 总数据，它总是和汇总过程联系在一起的。为有效利用从计算过程中得到的汇总数据， D S S 分析员必须取得汇总数据、理解用来产生汇总数据的过程。只有 D S S和E I S理解了汇总过程和 汇总数据之间的

7.7 细节数据和EIS 你需要多少细节数据才能运行你的 E I S / D S S环境呢?一种学院派的说法是你需要尽可能多 的细节数据 。通过存储尽可能多的数据，你就能做任何当前需要的分析工作。既然 D S S的特 性是探究未知的东西，谁知道你需要什么样的细节数据呢 ?为安全起见，你最好把你当前能得 到的所有细节数据都保存起来。而且，你能得到的历史细节数据越多越好，因为你永远不会 知道为完成

7.6 事件映射 在将数据仓库用于E I S处理中的一个有用技术是事件映射。描述事件映射最简单的方式是 从简单趋势曲线开始。 图7 - 1 2显示公司收入每月都在改变，从数据仓库取得的数据中已经估计出了趋势。收入 趋势本身是令人感兴趣的，但它只是对公司的运营情况给出一个肤浅的了解。要加强这种了 解，就要把事件映射到趋势曲线上。 图7-12 简单的趋势曲线 如图7 - 1 3，把三个重要事件

7.4 作为EIS基础的数据仓库 数据仓库运行在 E I S环境中。数据仓库是根据 E I S分析员的需要而定制的。一旦建立了数 据仓库，E I S的工作比起没有数据仓库时要容易得多。图7 - 8显示了数据仓库怎样对 E I S的数据 需求提供支持。 有了数据仓库，E I S分析员： ■ 不必搜索限定的数据源。 ■ 不必从现存系统中生成特定的抽取程序。 ■ 不必担心非集成的数据。 ■ 不必担心

7.3 支持向下探察处理 生成用于向下探察分析的基本数据是成功地完成向下探察处理的主要障碍，如图7 - 6所 示。 图7-6 困难在于生成用于EIS处理的基本数据 事实上，有一些研究表明，每花费 1美元用于开发E I S软件和硬件，就要为向下探察准备 数据花费9美元。 之所以要夸大这个问题，是因为高级管理人员关于感兴趣的事情总是不时地改变主意。 图7- 7显示了使高级管理人员感兴趣的事情总

第7章 高级管理人员信息系统和数据仓库 E I S—高级管理人员信息系统—是计算的最有效形式之一。通过 E I S，高级管理分析员 可以精确指出问题并发现对于管理至关重要的趋势。在某种意义上说， E I S代表着对计算机最 复杂的使用之一。 E I S处理是出于帮助高级管理人员制定决策的目的而设计的。 E I S变成了高级管理人员观 察公司运营的窗口。E I S处理总揽全局并且弄清与商业运作相关的

7.2 向下探察分析 为了切片和切块，有必要“向下探察”数据。向下探察数据是指从一个汇总数据开始， 将该汇总数据逐次地分解成一组更细致的汇总数据。因为向下探察能够得到汇总数据下的细 节，所以管理者能够知道当前情况，特别是哪里的汇总数据值得关注。图7 - 4显示了一个向下 探察分析的简单实例。 图7-4 为使EIS显示的数据有意义,汇总数据需要支持向下探察处理 在图7 - 4中，管理者已经看

6.13 公用细节数据采用多种平台 另一种可能性也是值得考虑的，即公用细节数据采用多种技术平台。图 6 - 4 4概括了这种 可能性。 图6-44 公用的细节数据采用多种开发平台 开发小组间的公共数据 当前细节数据 平台A 平台B 平台C 元数据 客户活动历史数据 销售历史数据 部件历史数据 客户投诉历史数据 装运历史数据 客户历史数据 销售报价历史数据 销售商历史数据

6.11 在多种层次上建造数据仓库 一个企业同时建造数据仓库的第三种模式是不同的开发小组负责建造数据仓库的不同层 次，如图6 - 2 8所示。这种模式与分布式数据仓库开发模式区别很大。在图示的情况下， A组负 责建造高层综合的数据，B组建造中层综合的数据，C组建造当前层细节数据。 图6-28 不同的开发小组负责建造数据仓库不同层的不同部分 这种数据仓库的多层模式是很常见的。幸运的是，这种方

6.12 多个小组建立当前细节级 当多个开发小组试图以非分布式的方式建立数据仓库中的当前细节级时，将出现某些特 殊情形。图6 - 3 2显示了这种现象。 图6-32 不同的开发小组共同建立数据仓库中的当前细节级 只要开发当前细节级的开发小组开发的数据集是互斥的，就不会出现太多问题。在这种 情况下，只要这些开发小组使用相同的数据模型，且不同开发者的技术平台间存在兼容性， 那么就很少有风险。不

6.10 分布式数据仓库 与无关的数据仓库模式不同，大部分企业内的部门间存在某种程度的集成。很少的企业 是像图6 - 2 0所示的那样自主的。更常见的多个数据仓库项目的开发形式如图 6 - 2 1所示。 图6-21 逻辑上属于同一个数据仓库 在图6 - 2 1中，某公司在世界各地诸如美国、加拿大、南美、远东，非洲等地设有不同的 分支机构(站点)。每个分支机构具有自己特有的数据。机构间不存在