Informaca 添加 Paron
Parton 简介
关于 Parton 的几点说明:
1、 在 Infromcaca 里的概念里,Parton 确切的理解应该是多线程。
2、 默认情况下,每个 Session 只有一个 Parton,通过给 Session 添加 Paron 就可以给
Session 开通多线程,有多个 Paron 的 Session 在运行时相当于有多个同样的 Session
在并行运行,所以 Paron 能够提高单个 Session 的运行效率。所以它是有别于数据库
的 Paron
3、 Parton 是解决单个 Session 瓶颈的有效方法。
Paron 设置
下面的内容将会详细介绍 Paron 的设置及注意事项。
1、 如何判断 Session 瓶颈
我们所说的瓶颈是指在可接受的运行时间内,Session 无法将一次增量的数据同步到目
标库。本文所说的应用集中在从源库取数并加载到目标库,在 mapping 的设计中没有
其它的转换组件,所以瓶颈就分为两种:一是源库数据读取慢,二是目标库数据写入
慢,三是源库目标库的读写均不理想。
通过分析 Session log 的统计信息可以帮助我们判断瓶颈所在。
源库数据读取慢:数据读的繁忙百分比远高于数据写的繁忙百分比
目标库数据写入慢:数据读的繁忙百分比远低于数据写的繁忙百分比
源库目标库的读写均不理想:数据读的繁忙百分比与数据写的繁忙百分比相当,
且在可接受的运行时间内无法完成一次增量的加载
2、 给 session 添加 paron 并设置 Source Qualier 的分区类型
Source Qualier 的分区类型:
Pass Though:每个分区需要按指定 Source Filter 取数,所以要保证每个 Parton 对应
1 / 6
评论1
最新资源