Etl通用功能以及先关必备功能说明
需积分: 9 173 浏览量
2021-05-21
11:19:14
上传
评论
收藏 57KB DOCX 举报
ETL 说明
一、 概念
ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取
（extract）、转换（transform）、加载（load）至目的端的过程。目的是将分散
零乱、标准不统一的数据整合到一起，为决策提供分析依据
二、 关键技术
ETL 过程中的主要环节就是数据抽取、数据转换和加工、数据装载。为了实现这些功
能，各个 ETL 工具一般会进行一些功能上的扩充，例如工作流、调度引擎、规则引擎、
脚本支持、统计信息等。
1、数据抽取
数据抽取是从数据源中抽取数据的过程。从数据库中抽取数据一般有以下几种方
式。
(1)全量抽取
全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不
动的从数据库中抽取出来，并转换成自己的 ETL 工具可以识别的格式。
(2)增量抽取
增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在
ETL 使用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量
抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化
数据按一定的频率准确地捕获到；性能，不能对业务系统造成太大的压力，影
响现有业务。目前增量数据抽取中常用的捕获变化数据的方法有：
a.触发器：在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除
三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写
入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记
或删除。触发器方式的优点是数据抽取的性能较高，缺点是要求业务表建立触
发器，对业务系统有一定的影响。
b.时间戳：它是一种基于快照比较的变化数据捕获方式，在源表上增加一个时
间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。当进行
数据抽取时，通过比较系统时间与时间戳字段的值来决定抽取哪些数据。有的
数据库的时间戳支持自动更新，即表的其它字段的数据发生改变时，自动更新
时间戳字段的值。有的数据库不支持时间戳的自动更新，这就要求业务系统在
更新业务数据时，手工更新时间戳字段。同触发器方式一样，时间戳方式的性
能也比较好，数据抽取相对清楚简单，但对业务系统也有很大的倾入性（加入
额外的时间戳字段），特别是对不支持时间戳的自动更新的数据库，还要求业
务系统进行额外的更新时间戳操作。另外，无法捕获对时间戳以前数据的
delete 和 update 操作,在数据准确性上受到了一定的限制。
c.全表比对：典型的全表比对的方式是采用 MD5 校验码。ETL 工具事先为要抽
取的表建立一个结构类似的 MD5 临时表，该临时表记录源表主键以及根据所
有字段的数据计算出来的 MD5 校验码。每次进行数据抽取时，对源表和 MD5
临时表进行 MD5 校验码的比对，从而决定源表中的数据是新增、修改还是删
资源评论
