Quest Central for DB2免安装版本，解压后，点击名为QuestCentral应用程序文件，即可使用，简单方便便捷

下载安装后即可使用，安装方便！

根据百度地图最新提取的全国矢量数据格式，包括河流湖泊，公路铁路乡村道路，医院等信息。

超市管理信息系统 小组成员： 指导教师： 2011年12月10日 数据库课程设计

汇报内容 需求分析与数据流分析 数据库逻辑模型设计 物理模型设计 功能实现介绍 总结与展望

上海人云科技团队 上海人云科技团队组建于2010年底，团队的成员主要来自于IBM中国研究院和上海贝尔阿尔卡特等著名IT企业。现在力推的产品是用于海量数据的YunTable，并即将在11月底正式对外发布其企业级版。同时已在2011年中发表《云计算核心技术剖析》一书，此书受到业界极大的关注和好评，并已经印刷万册。

《云计算核心技术剖析》

什么是海量数据？

海量数据的时代

海量数据的意义

如何从“小”做起？

海量数据的处理流程

2.5 分割问题 分割是数据仓库中数据的第二个主要的设计问题 (在粒度问题之后 )，如图2 - 11 b所示。数 据分割是指把数据分散到各自的物理单元中去，它们能独立地处理。在数据仓库中，围绕分 割问题的焦点不是该不该分割而是如何去分割的问题。 人们常说，如果粒度和分割都做得很好的话，则数据仓库设计和实现的几乎所有其他问 题都容易解决。但是，假如粒度处理不当并且分割也没有认真地设计与实现，这将

2.8 数据仓库中的数据组织 迄今为止，我们还没有详细研究数据仓库中所建立的数据结构是怎样的。数据仓库中有 多种数据组织形式，我们将讨论几类比较常见的结构。 数据仓库中最简单最常用的数据组织形式也许是简单堆积结构，如图 2 - 2 0所示。 图2 - 2 0表示了从操作型环境中取出每天的事务处理，然后综合成数据仓库记录，这个综 合可根据顾客、帐目或者任何组织到数据仓库的主题领域来进行。这里的事

2.10 审计和数据仓库 伴随数据仓库出现的一个有趣的问题是：是否能够或是否应该对数据仓库进行审计？答 案是能对数据仓库进行审计；已有进行详细审计的几个例子。然而有更多的理由表明，即使 能对数据仓库进行审计，也不应该从中进行审计。不进行这种审计的主要原因如下： ■ 原先在数据仓库中没有的数据会突然出现。 ■ 当需要审计能力时，数据进入数据仓库的定时会发生急剧变化。 ■ 当需要审计能力时，数据仓

2.12 清理仓库数据 数据并非只是注入数据仓库，它在数据仓库中也有自己的生命周期。到了一定时候，数 据将从仓库中清除。数据清理问题是数据仓库设计人员无法回避的基本设计问题之一。 从某种意义上讲，数据根本不是从数据仓库中清除，而仅仅是上升到更高的综合级。数 据清理或数据细节转化主要有以下几种方式： ■ 数据加入到失去原有细节的一个轮转综合文件中。 ■ 数据从高性能的介质 (如D A S D )

2.14 机遇性的操作型窗口 数据仓库是 D S S处理的基础，包含的都是档案信息，而且大部分是至少 2 4小时以前的。 但是档案数据在体系结构设计环境中别的地方能找到，特别是在操作型环境中也能找到。 在数据仓库中，发现 5～1 0年这样漫长的档案数据是很常见的。由于时间范围的缘故，数 据仓库中存在有大量的数据。 在操作型环境中发现的档案数据的时间范围称之为数据的“操作型窗口”，它一般不很长，

3.1 从操作型数据开始 起初，现存系统中存储的是操作型数据。这就难免会让人认为建造数据仓库是一个抽取 操作型数据，然后将其输入数据仓库的过程。其他就没有什么要做的了。 图3 - 1简单描绘了从现有的系统环境中抽取出数据加入数据仓库的过程。可以看到有多个 应用程序对数据仓库作出贡献。 图3-1 把数据从操作型环境移入数据仓库不是简单的抽取 认为图3 - 1过于简单是有多种理由的。认为建造数

3.2 数据/过程模型和体系结构设计环境 尝试使用传统的设计方法前，设计者必须明白这些方法的适用范围与其局限性。图 3 - 7说 明了体系结构层次与数据建模和过程建模规程之间的关系。过程模型仅仅适用于操作型环境。 数据模型既可用于操作型环境，又可用于数据仓库环境。数据模型或过程模型用错了地方， 只会带来失败。 在本章后面会更详细地讨论数据模型。什么是过程模型？一个过程模型 (整个或部分地 )一

3.3 数据仓库和数据模型 数据模型既适用于现存系统环境也适用于数据仓库中环境，图 3 - 8做了更清楚的解释。 图3-8 不同层次模型间的关系 50 数 据 仓 库 下载 操作型 数据仓库 部门 个人 数据类型 企业模型，操作型模型和数据仓库模型 直接应用 直接应用 间接应用 数据仓库 过程模型 企业模型 数据模型 数据模型 数据模型 操作型 数据仓库 数据仓库数据模型 操作型数据模型

3.4 数据模型和反复开发 在所有情况下数据仓库最好是反复建造的。下面就是为什么说反复建造是很重要的理由： ■ 业界成功的记录强烈地建议这样做。 ■ 最终用户在第一遍完成以前不能明白地提出需求。 ■ 只有实际结果切实而且明确时，管理部门才能作出充分的承诺。 ■ 需要很快看到可视化结果。 这时，可能尚不清楚的是数据模型在反复开发中担当的角色，为了解释数据模型在反复 开发期间所起的作用，考虑典型的

3.5 规范化/反规范化 数据模型处理过程的输出是一系列表，每个表包含键码和属性。常规的输出是很多表， 其中每个表只包含少量数据。 虽然输出大量小表本身没有什么不对，但从性能上看是一个问题。请考虑程序为使表之 间的动态互连而必须做的工作，如图 3 - 2 6所示。 图3-26 当有许多表时，动态互连能力要求大量的I/O 60 数 据 仓 库 下载 程序

3.6 数据仓库中的快照 数据仓库是应各种各样的应用和用户而建，如顾客系统，市场系统，销售系统和质量控 制系统。不管数据仓库有什么非常不同的应用和类型，还是有一条共同的线索贯穿其中。在 其内部，每个数据仓库都围绕着一个称之为“快照”的一种数据结构。 图3 - 3 4说明了数据仓库快照的基本组成形式。 快照是因为一些事件的发生而产生 的。能够触发快照的事件有很多种。 一类事件是对离散活动的信息的

3.8 数据仓库中的管理参照表 大多数人想到数据仓库技术，就经常会想到不停地用来运行公司日常事务的一般大型数 据库，例如顾客档案，销售记录，等等。事实上，这些一般文件构成了数据仓库工作的框架。 然而，数据仓库中还有常被忽略的一类数据：参考数据。 参照表常常被认为是用来创建一个专门的问题。在很多情况下，参照表不是数据仓库的 一部分。例如，假设一个公司有 1 9 9 5年的一些参照表，并且从 1

3.9 数据周期 数据仓库设计中的一个引人注目的问题是数据周期。所谓数据周期是指从操作型环境数 据发生改变起，到这个变化反映到数据仓库中所用的时间。考虑如图 3 - 3 8中所示的数据。 图中给出了关于 Judy Jones的当前信息，数据仓库包含有 J u d y的历史信息。现在假设发现 第3章 设计数据仓库 67 下载 Jan 1 - 增加 TWQ - Taiwan Dairy Jan 1

3.10 转换和集成的复杂性 粗略一看，当数据从传统环境转入数据仓库时，除了简单地从一个地方抽取数据再放入 另一处，并没有做别的什么。由于表面上看起来很简单，很多组织开始手工建立他们的数据 仓库。程序员只看到了数据从旧的操作型环境到新的数据仓库环境中的简单流动就轻率地说： “我可以做到！”于是，在数据仓库设计、开发伊始，程序员往往就着手编写代码。 然而，第一印象通常是非常靠不住的。开始时认为仅

3.11 触发数据仓库记录 引起数据仓库的数据载入的基本的业务活动可以称为“事件→快照”事务。在一个事件 →快照事务中，某个事件触发了数据的一个快照 (一般是在操作型环境中 )，然后被转移到数据 第3章 设计数据仓库 71 下载

3.12 简要记录 在很多情况下，数据仓库中的数据并不满足这些标准。有时数据量是巨大的。有时数据 的内容经常发生变化，而且有时商业上并不要求特别详细的历史记录。当上述一种或多种情 况出现时，可以建立另一种不同的数据仓库记录。这种记录可以被称为聚集记录或简要记录。 它是把各个不同操作型数据的详细信息聚集在一个记录中而形成的。一个简要记录的创建以 聚集的形式代替了许多条操作型记录。 简要记录可以象

3.13 管理大量数据 有时候数据仓库中需要进行管理的大量数据是一个重要问题。建立简要记录是大量数据 管理的一种有效技术。在把操作型环境中的详细记录转入数据仓库中简要记录的过程中，数 据量的降低是显著的。一般通过建立简要记录可以使数据量降低 2～3个数量级。由于这种可 能性，创建简要记录是每一个数据体系结构设计人员手中很强有力的一种技术。事实上，与 其他设计或数据管理技术相比较，要想在数据仓库

3.14 创建多个简要记录 一个细节可以用来创建多个简要记录。如电话公司的单个电话记录可以用来创建客户简 要记录，地区通信量简要记录，线路分析简要记录，等等。 简要记录可以被置入数据仓库或者置入数据仓库所支持的数据集市。当简要记录进入数 据仓库时是面向普通应用的，而进入数据集市时则是为了适应部门应用的。 操作型记录聚集成一条简要记录的过程通常是在操作型服务器上完成的。这是因为操作 型服务器足以

3.17 数据仓库数据的直接访问 图3 - 4 6说明了在那些最简单的动态的数据回流，即由操作型环境对数据仓库环境进行直 接的数据访问。在操作型环境中向属于数据仓库的数据提出了访问请求。这个请求被传送到 数据仓库中，然后找到所需要的数据，接着再传输到操作型环境中。很明显，从动态的角度 来看，传送过程的实现不会是简单的。 图3-46 一个从传统应用环境对数据仓库的直接查询 在直接访问数据仓库

3.19 数据仓库数据的间接利用 对于间接利用数据仓库来讲，还有一种正在出现的模式，如图 3 - 5 5所示。 由一个程序对数据仓库进行定期的分析，以检验相关的特征和标准。这种分析过程将在 联机环境中产生一个小文件，其内容包括了有关企业业务方面的简明信息。这个文件被有效 快速地利用，以满足操作型环境中其他处理的需要。 图3-55 数据仓库数据被联机操作型环境间接应用的方法 下面是间接使用数

3.20 星型连接 数据模型作为一种数据仓库的设计基础，在实际应用中还存在许多缺点。考虑图 3 - 5 6所 示的简单数据模型。 图3-56 一个简单的二维模型给人的印象是所有的实体都是等同的 图3 - 5 6中所示的数据模型中有四个相互关联的简单实体。如果数据库设计只需要考虑数 据模型的话，可以推断所有的实体都是平等关系。换言之，从数据模型的设计角度来看，所 有的实体之间的关系是对等的。

4.1 粗略估算 确定合适的粒度级的起点，是粗略估算数据仓库中将来的数据行数和所需 D A S D(直接存 取存储设备)数。毫无疑问，即使在最好的情况下我们也仅能做一下估计。但在建立数据仓库 之初，所需的只是一个数量级上的估计。 有一个计算数据仓库所占的空间的算法，如图 4 - 1所示。第一步是确定数据仓库中将要创建的所 有表。然后，估计每张表中的行的大小。确切大 小可能难以知道，估计一个下界

4.2 粒度划分过程的输入 可以将估计的行数和D A S D数作为粒度划分过程的输入，如图 4 - 2所示。 此时，数量级的精确性才是最重要的。 图4-2 使用空间估计的结果 4.3 双重或单一的粒度？ 一旦上面的估计完成后，下一步就要将数据仓库环境中总的行数和图 4 - 3中所示的表格进 行比较。根据数据仓库环境中将具有的总的行数的大小，设计和开发必须采取不同的方法。 以一年期为例，

4.4 确定粒度的级别 完成了一些简单分析之后(事实上，这时大多数公司发现他们需要双重粒度)，下一步就要 精确地确定粒度的级别。开始时是需要一些常识和直觉的。在很低的细节级上建立轻度汇总 的数据级是没有意义的，因为需要太多的资源来处理数据。而在太高的细节级上建立轻度汇 总的数据级，则意味着许多分析必须在真实档案级上进行。因此确定轻度汇总的粒度级的第 一件事是进行有根据的猜测。 但进行有根据的猜

4.5 一些反馈循环技巧 我们可以用以下的一些技巧来使反馈循环成为一个和谐的循环： ■ 用很小而很快的步伐建立数据仓库最初的几个部分，仔细聆听最终用户的意见。随时 准备做快速的调整。 ■ 如果可以使用原型工具的话应用原型法，并使用从原型中收集的观察结果而使反馈循 环起作用。 ■ 看看别人是怎样确定他们的粒度级别，学习一下他们的经验。 ■ 与一个对整个过程了解的有经验的用户一起进行反馈的处理。不

5.2 管理多介质 在处理大量数据时，为了满足高效率和合理的费用，应用在数据仓库中的基本技术应该 能够解决多种存储介质的问题。仅仅在 D A S D上管理一个成熟的数据仓库是不够的。考虑到访 问速度和存储费用，对数据的存储要分层次。层次的区分如下： 主存 —非常快 —非常贵 扩展内存 —非常快 —贵 高速缓存 —非常快 —贵 D A S D —快 —适中 光盘 —不慢 —不贵 缩微胶片 —慢