没有合适的资源?快使用搜索试试~ 我知道了~
Seatunnel原理、安装、使用
需积分: 2 1 下载量 15 浏览量
2024-02-27
10:24:03
上传
评论
收藏 26.25MB DOC 举报
温馨提示
试读
11页
Seatunnel原理、安装、使用
资源推荐
资源详情
资源评论
各种数据源:有数百个常用数据源,其版本不兼容。随着新技术的出现,更多的数据源
正在出现。用户很难找到能够完全快速支持这些数据源的工具。
复杂同步场景:数据同步需要支持离线-全量同步、离线-增量同步、CDC、实时同步、数
据库全量同步等多种同步场景。
资源需求高:现有的数据集成和数据同步工具往往需要大量的计算资源或JDBC连接资源
来完成海量小表的实时同步。这在一定程度上加重了企业的负担。
缺乏质量和监控:数据集成和同步过程经常会遇到数据丢失或重复的情况。同步过程缺
乏监控,无法直观地了解任务过程中数据的真实情况。
复杂的技术栈:企业使用的技术组件不同,用户需要针对不同的组件开发相应的同步程
序来完成数据集成。
管理和维护难度大:受限于不同的底层技术组件(Flink/Spark),离线同步和实时同步往
往分开开发和管理,增加了管理和维护的难度。
三、SeaTunnel 的特点
丰富且可扩展的连接器:SeaTunnel 提供了一个不依赖于特定执行引擎的连接器 API。基
于此 API 开发的连接器(源、转换、接收器)可以在许多不同的引擎上运行,例如当前
支持的 SeaTunnel 引擎、Flink、Spark。
连接器插件:插件设计允许用户轻松开发自己的连接器并将其集成到 SeaTunnel 项目中。
目前,SeaTunnel已经支持100多个连接器,而且数量还在激增。有列表 当前支持的连接
器.
批量流集成:基于 SeaTunnel 连接器API开发的连接器,完美兼容离线同步、实时同步、
全同步、增量同步等场景。它大大降低了管理数据集成任务的难度。
支持分布式快照算法,保证数据一致性。
多引擎支持:SeaTunnel 默认使用 SeaTunnel 引擎进行数据同步。同时,SeaTunnel 还支持
使用 Flink 或 Spark 作为连接器的执行引擎,以适应企业现有的技术组件。SeaTunnel 支持
多个版本的 Spark 和 Flink。
JDBC多路复用,数据库日志多表解析:SeaTunnel支持多表或全数据库同步,解决了
JDBC连接过多的问题;支持多表或全库日志读写解析,解决了CDC多表同步场景重复读取
解析日志的问题。
高吞吐、低时延:SeaTunnel 支持并行读写,提供稳定可靠的数据同步能力,高吞吐、低
时延。
完善的实时监控:SeaTunnel支持数据同步过程中每个步骤的详细监控信息,让用户轻松
了解同步任务读写的数据数量、数据大小、QPS等信息。
四、Seatunnel 优势与缺点
优势:
简单易用,灵活配置,无需开发
模块化和插件化
支持利用SQL做数据处理和聚合
由于其高度封装的计算引擎架构,可以很好的与中台进行融合,对外提供分布式计算能力
缺点:
Spark支持2.2.0 - 2.4.8,不支持spark3.x(目前支持)
Flink支持1.9.0,目前flink已经迭代至1.15.x,无法向上兼容
Spark作业虽然可以很快配置,但相关人员还需要懂一些参数的调优才能让作业效率更优
剩余10页未读,继续阅读
资源评论
大数据侠客
- 粉丝: 710
- 资源: 76
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- python-leetcode面试题解之第198题打家劫舍-题解.zip
- python-leetcode面试题解之第191题位1的个数-题解.zip
- python-leetcode面试题解之第186题反转字符串中的单词II-题解.zip
- 一个基于python的web后端高性能开发框架,下载可用
- python-leetcode面试题解之第179题最大数-题解.zip
- python-leetcode面试题解之第170题两数之和III数据结构设计-题解.zip
- python-leetcode面试题解之第168题Excel表列名称-题解.zip
- python-leetcode面试题解之第167题两数之和II输入有序数组-题解.zip
- python-leetcode面试题解之第166题分数到小数-题解.zip
- python-leetcode面试题解之第165比较版本号-题解.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功