没有合适的资源?快使用搜索试试~ 我知道了~
kafka-connect-oss:Kafka Connect OSS连接器套件
共36个文件
java:29个
xml:2个
properties:2个
需积分: 33 0 下载量 121 浏览量
2021-05-25
11:12:03
上传
评论
收藏 68KB ZIP 举报
温馨提示
Kafka Connect OSS 现在,您可以将此连接器用作接收器,以json,avro或parquet格式将数据从kafka主题上载到OSS。 该连接器定期轮询来自Kafka的数据,然后将其上传到OSS。 您可以配置一个分区程序以将数据拆分为多个块,每个数据块均表示为一个OSS对象。键名称对主题,Kafka分区和该数据块的起始偏移量进行编码。 如果在配置中未指定分区程序,则使用保留Kafka分区的默认分区程序。 每个数据块的大小取决于写入OSS的记录数和架构兼容性。 执照 它受Apache许可,版本2.0的约束,这意味着您可以随意使用它,而您可以以任何方式使用它。 局限性 需要Kafka 0.11.0.0或更高版本(0.11.x,1.x,2.x)。 现在将不支持其他版本(0.10.x或更低)。 安装OSS连接器 编译与部署 执行以下命令: git clone https://gi
资源推荐
资源详情
资源评论
收起资源包目录
kafka-connect-oss-master.zip (36个子文件)
kafka-connect-oss-master
pom.xml 9KB
LICENSE 523B
src
test
resources
log4j.properties 1KB
core-site.xml 849B
java
com
aliyun
oss
connect
kafka
TestDataWriterParquetJson.java 6KB
TestDataWriterAvro.java 22KB
TestOSSSinkConnector.java 1KB
TestDataWriterJson.java 9KB
TestDataWriterByteArray.java 7KB
TestDataWriterParquetAvro.java 2KB
format
parquet
ParquetUtils.java 2KB
bytearray
ByteArrayUtils.java 3KB
json
JsonUtils.java 2KB
avro
AvroUtils.java 3KB
TestOSSSinkConnectorBase.java 8KB
main
resources
kafka-connect-oss-version.properties 816B
java
com
aliyun
oss
connect
kafka
OSSSinkConnector.java 2KB
OSSSinkConnectorConfiguration.java 14KB
storage
OSSStorage.java 4KB
CompressionType.java 4KB
TopicPartitionWriter.java 15KB
OSSSinkTask.java 8KB
utils
Util.java 1KB
Version.java 1KB
format
parquet
ParquetAvroRecordWriterProvider.java 4KB
ParquetJsonFormat.java 2KB
ParquetAvroFormat.java 2KB
ParquetJsonRecordWriterProvider.java 5KB
bytearray
ByteArrayFormat.java 2KB
ByteArrayRecordWriterProvider.java 3KB
json
JsonRecordWriterProvider.java 4KB
JsonFormat.java 2KB
avro
AvroRecordWriterProvider.java 4KB
AvroFormat.java 2KB
proto
parquet.proto 357B
README.md 15KB
共 36 条
- 1
资源评论
人间发财树
- 粉丝: 26
- 资源: 4560
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- java毕业设计-基于SSM框架的传统服饰文化体验平台【代码+部署教程】
- 优化领域的模拟退火算法详解与实战
- NewFileTime-x64.zip.fgpg
- 基于Python和HTML的Chinese-estate-helper房地产爬虫及可视化设计源码
- 基于SpringBoot2.7.7的当当书城Java后端设计源码
- 基于Python和Go语言的开发工具集成与验证设计源码
- 基于Python与JavaScript的国内供应商管理系统设计源码
- aspose.words-20.12-jdk17
- 基于czsc库的Python时间序列分析设计源码
- 基于Java、CSS、JavaScript、HTML的跨语言智联平台设计源码
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功