没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
# 接收flume实时数据流
### flume风格的基于push的方式
Flume被设计为可以在agent之间推送数据,而不一定是从agent将数据传输到sink中。在这种方式下,Spark Streaming需要启动一个作为Avro Agent的Receiver,来让flume可以推送数据过来。下面是我们的整合步骤:
**前提需要**
选择一台机器:
1. Spark Streaming与Flume都可以在这台机器上启动,Spark的其中一个Worker必须运行在这台机器上面
2. Flume可以将数据推送到这台机器上的某个端口
由于flume的push模型,Spark Streaming必须先启动起来,Receiver要被调度起来并且监听本地某个端口,来让flume推送数据。
**配置flume**
在flume-conf.properties文件中,配置flume的sink是将数据推送到其他的agent中
```sh
agent1.sinks.sink1.type = avro
agent1.sinks.sink1.channel = channel1
agent1.sinks.sink1.hostname = 192.168.75.101
agent1.sinks.sink1.port = 8888
```
**配置spark streaming**
在我们的spark工程的pom.xml中加入spark streaming整合flume的依赖
```xml
org.apache.spark
spark-streaming-flume_2.10
1.5.0
```
在代码中使用整合flume的方式创建输入DStr
点击阅读更多
资源评论
練心
- 粉丝: 25
- 资源: 305
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功