flume的安装和实践.docx
需积分: 16 8 浏览量
2021-04-20
13:57:02
上传
评论
收藏 335KB DOCX 举报
Flume
一． ume 组成架构
1. agent 的组成
Source 数据采集，channel 数据缓存，sink 数据发送
2. event
传输单元，是 ume 数据传输的基本单元
3. agent 详细
常用 source
Exec 可以对文件进行实时追加的监控，不能实现断电续传
Spooldir 可以监控同步的新文件，但不适合试试追加日志的文件进行监听和同步
Taildir 可以监听多个实时追加的文件，能实现断点续传
4. 启动命令：
1 bin/ume-ng agent –-conf /conf –-name xx(文件中的 agent 名称) –conf-%le 配置文件路
径
-Dume.root.logger=INFO,console 日志级别包括:log、info、warn、error
2 bin/ume-ng agent –c /conf –n xx –f 配置文件路径
二． Flume 事务
Source 先推给 pulllist 做判断，如果失败则回滚 -> 下一步发送到 channel 进行缓存-
> takeList 拿到 channel 数据做判断，失败则返回 channel 继续缓存 -> 发送给 sink
终年i
- 粉丝: 1
- 资源: 11
最新资源
- mongodb数据库基本操作.pdf
- C#，布尔可满足性问题（Boolean Satisfiability Problem）算法与源代码
- C#，回文分割问题（Palindrome Partitioning Problem）算法与源代码
- C#，煎饼排序问题（Pancake Sorting Problem）算法与源代码
- C#，排列组合的堆生成法（Heap’s Algorithm for generating permutations）算法与源代码
- C#，老鼠迷宫问题的回溯法求解（Rat in a Maze）算法与源代码
- 6693eeb8d683458a07938615fba9e68f.apk
- C#，数值计算，解微分方程的龙格-库塔二阶方法与源代码
- C#，数值计算，用割线法（Secant Method）求方程根的算法与源代码
- C#，子集和问题（Subset Sum Problem）的算法与源代码
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0