没有合适的资源？快使用搜索试试~ 我知道了~

文库首页行业研究行业报告数据集成工具：Azure数据工厂：控制流活动：构建复杂工作流.docx

数据集成工具：Azure数据工厂：控制流活动：构建复杂工作流.docx

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

大数据教程

0 下载量 24 浏览量 2024-09-02 20:09:00 上传评论收藏 35KB DOCX 举报

温馨提示

试读

27页

数据集成工具：Azure数据工厂：控制流活动：构建复杂工作流.docx

资源推荐

资源详情

资源评论

数据集成工具：Azure 数据工厂：控制流活动：构建复杂工

作流

1 理解 Azure 数据工厂控制流活动

1.1 控制流活动的类型

Azure Data Factory (ADF) 提供了多种控制流活动，用于构建复杂的数据处理

和集成工作流。这些活动允许你以编程方式控制数据管道的执行顺序和条件，

从而实现更高级的数据处理逻辑。以下是一些主要的控制流活动类型：

1.1.1 Sequence (序列)

序列活动是控制流中最基本的类型，它允许你按顺序执行一系列活动。例

如，你可能需要先从一个数据源加载数据，然后清洗数据，最后将数据加载到

目标数据源。

1.1.2 If Condition (条件)

条件活动允许你根据特定的条件执行不同的活动。这可以用于实现基于数

据存在性、数据质量检查或其他逻辑条件的分支逻辑。

{

"name": "IfConditionActivity",

"type": "IfCondition",

"typeProperties": {

"expression": {

"value": "@activity('LookupActivity').output.firstRow.columnName == 'value'",

"type": "Expression"

"ifTrueActivities": [

{

"name": "IfTrueActivity",

"type": "Copy",

"typeProperties": {

"source": {

"type": "AzureSqlSource",

"sqlReaderQuery": "SELECT * FROM sourceTable"

"sink": {

"type": "AzureSqlSink",

"sqlWriterStoredProcedureName": "usp_InsertData"

"dataset": {

"referenceName": "SourceDataset",

"type": "DatasetReference"

"linkedService": {

"referenceName": "AzureSqlDatabase",

"type": "LinkedServiceReference"

}

"ifFalseActivities": [

{

"name": "IfFalseActivity",

"type": "Copy",

"typeProperties": {

"source": {

"type": "AzureSqlSource",

"sqlReaderQuery": "SELECT * FROM sourceTable"

"sink": {

"type": "BlobSink",

"writeBatchSize": 0,

"writeBatchTimeout": "00:00:00"

"dataset": {

"referenceName": "SourceDataset",

"type": "DatasetReference"

"linkedService": {

"referenceName": "AzureBlobStorage",

"type": "LinkedServiceReference"

}

]

}

在这个例子中，如果 LookupActivity 的输出中 columnName 的值等于 value，

ADF 将执行 IfTrueActivity，将数据从 sourceTable 复制到 SQL 数据库。否则，它

将执行 IfFalseActivity，将数据复制到 Azure Blob 存储。

1.1.3 ForEach (遍历)

遍历活动允许你对集合中的每个元素执行一组活动。这在处理多个数据集

或执行基于列表的动态操作时非常有用。

{

"name": "ForEachActivity",

"type": "ForEach",

"typeProperties": {

"activities": [

{

"name": "CopyActivity",

"type": "Copy",

"typeProperties": {

"source": {

"type": "AzureSqlSource",

"sqlReaderQuery": "SELECT * FROM @item().sourceTable"

"sink": {

"type": "BlobSink",

"writeBatchSize": 0,

"writeBatchTimeout": "00:00:00"

"dataset": {

"referenceName": "SourceDataset",

"type": "DatasetReference"

"linkedService": {

"referenceName": "AzureBlobStorage",

"type": "LinkedServiceReference"

}

"iterationItems": {

"value": [

{

"sourceTable": "Table1",

"destinationContainer": "Container1"

{

"sourceTable": "Table2",

"destinationContainer": "Container2"

}

"type": "Object"

}

在这个示例中，ADF 将遍历 iterationItems 列表中的每个元素，并对每个元

素执行 CopyActivity，从指定的源表复制数据到指定的目标容器。

1.1.4 Set Variable (设置变量)

设置变量活动允许你在管道执行过程中动态地设置变量的值。这可以用于

存储中间结果、计数器或任何需要在活动之间传递的数据。

1.1.5 Execute Pipeline (执行管道)

执行管道活动允许你在当前管道中调用另一个管道。这可以用于实现更复

杂的嵌套工作流或模块化设计。

1.2 活动之间的依赖关系

在构建复杂工作流时，理解活动之间的依赖关系至关重要。ADF 支持以下

几种依赖关系：

1.2.1 顺序依赖

这是最常见的依赖类型，其中活动 A 必须在活动 B 开始之前完成。在 ADF

中，这通常通过在管道设计器中简单地将活动 A 拖放到活动 B 之前来实现。

1.2.2 条件依赖

条件依赖允许你基于前一个活动的输出或状态来决定后续活动是否执行。

例如，你可能有一个活动，它检查数据源中的数据是否满足某些条件，然后根

据结果决定是否执行数据清洗活动。

1.2.3 并行依赖

并行依赖允许你并行执行多个活动，这可以显著提高管道的执行效率。例

如，你可能需要同时从多个数据源加载数据，然后在所有加载活动完成后执行

数据合并操作。

1.2.4 循环依赖

循环依赖允许你基于集合中的元素数量重复执行活动。这通常与 ForEach

活动结合使用，以处理多个数据集或执行基于列表的动态操作。

通过组合这些控制流活动和依赖关系，你可以构建出能够处理复杂数据集

成场景的管道。例如，你可能需要根据数据的可用性动态地选择数据源，然后

对数据进行清洗和转换，最后将数据加载到多个目标位置。使用 ADF 的控制流

功能，你可以轻松地实现这些需求，同时保持管道的可读性和可维护性。

2 设计复杂工作流

2.1 使用条件执行活动

在 Azure Data Factory 中，条件执行活动（Conditional Split Activity）允许你

根据数据行的条件将数据流分成多个分支。这在处理数据时非常有用，可以实

现数据的分类或过滤。下面我们将通过一个示例来展示如何使用条件执行活动

来构建复杂工作流。

2.1.1 示例：根据年龄分类用户数据

假设我们有一个用户数据集，包含用户的姓名和年龄。我们想要创建一个

工作流，将用户数据根据年龄分为三个组：儿童（0-12 岁）、青少年（13-18 岁）

和成人（19 岁以上）。

2.1.1.1 数据样例

[

{"name": "Alice", "age": 10},

{"name": "Bob", "age": 15},

{"name": "Charlie", "age": 22},

{"name": "Diana", "age": 8},

{"name": "Eve", "age": 17}

]

2.1.1.2 创建工作流步骤

1. 创建数据集：首先，创建一个 JSON 数据集来连接到你的数据源。

2. 创建数据流：在数据流中，添加一个源活动来读取 JSON 数据集。

3. 添加条件执行活动：在数据流中，添加一个条件执行活动，设置

条件为 age 字段的值。

4. 定义条件：为条件执行活动定义三个条件：

o 儿童：age <= 12

o 青少年：age > 12 AND age <= 18

o 成人：age > 18

5. 添加接收器：为每个条件添加一个接收器，这些接收器将数据写

入不同的 JSON 文件中。

剩余26页未读，继续阅读

评论收藏

内容反馈

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

kkchenjj

粉丝: 2w+
资源: 5470

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

数据集成工具：Azure数据工厂：控制流活动：构建复杂工作流.docx

微软工作流管理解决方案

GitHub企业版和从Azure DevOps到GitHub的CI:CD流水线迁移.docx

工作意见提案答复样表.docx

复习重点.docx

计算机行业大数据系列（二）：数据仓库深度分析，从Snowflake快速崛起深度解析数仓竞争要素.docx

IoT实验手册.docx

实习简历.docx

微软桌面虚拟化解决方案建议书_XXXX_v20918.docx

System Center 2012技术白皮书.docx

按揭贷款银行承诺书.docx

林子雨大数据技术原理及应用第六章课后作业答案.docx

云管理平台的功能.docx

最全川北医学院软件工程专业论文题目表.docx

应用软件购置项目服务方案(纯方案,40页).docx

云资源管理流程平台系统设计与实现.docx

国内国际云计算PaaS平台系统分析.docx

(整理)年复旦大学计算机软件工程专业毕业论文选题参考表3..docx

东南大学职业素质教育.docx

计算机专业毕业设计题目汇总 计算机99毕设题目.docx

微软桌面虚拟化解决方案建议书.docx

有关三八妇女节慰问信锦集六篇.docx

云计算与边缘计算协同 九大应用场景.docx

Java程序设计大作业实验报告.docx

山东大学 web技术 全部章节 作业

参考资料-复议决定书(停止执行或驳回停止执行的申请复议决定用).zip

FileProcess:诉讼程序程序

JavaEE开发的颠覆者SpringBoot实战

最新资源

计算机专业毕业设计题目汇总计算机99毕设题目.docx

云计算与边缘计算协同九大应用场景.docx

山东大学 web技术全部章节作业