没有合适的资源?快使用搜索试试~ 我知道了~
使用ApacheKafka和KSQL实现普及化流处理
0 下载量 154 浏览量
2021-01-27
15:16:04
上传
评论
收藏 231KB PDF 举报
温馨提示
试读
4页
大多数的流处理技术,需要开发人员使用Java或Scala等编程语言编写代码。 KSQL是ApacheKafka的数据流SQL引擎,它使用SQL语句替代编写大量代码去实现流处理任务。 KSQL基于Kafka的StreamAPI构建,它支持过滤、转换、聚合、连接、加窗操作和Sessionization(即捕获单一会话期间的所有的流事件)等流处理操作。 KSQL的用例涉及实现实时报表和仪表盘、基础设施和物联网设备监控、异常检
资源详情
资源评论
资源推荐
使用使用ApacheKafka和和KSQL实现普及化流处理实现普及化流处理
本文要点
大多数的流处理技术,需要开发人员使用Java或Scala等编程语言编写代码。
KSQL是Apache Kafka的数据流SQL引擎,它使用SQL语句替代编写大量代码去实现流处理任务。
KSQL基于Kafka的Stream API构建,它支持过滤、转换、聚合、连接、加窗操作和Sessionization(即捕获单一会话期间的所
有的流事件)等流处理操作。
KSQL的用例涉及实现实时报表和仪表盘、基础设施和物联网设备监控、异常检测和欺骗行为报警等。
你会根据一分钟前的交通信号灯过马路吗?当然不会!当前,现代企业或者出于竞争上的压力,或者因为企业的客户对产品或
服务的交互方式有着更高的期望,它们也面对着同样的需求。
如果人们在iPad上轻点按钮就可以租赁和观看最新的影片,那么为什么还要因为银行账户吃紧而必须等待数小时?
数据在现代企业中处于核心地位,数据的量也在不断增加中,并且持续快速变化。流处理技术正是支持企业实时利用这些洪流
信息的一种技术。目前为重新塑造自身的业务,Netflix、奥迪、PayPal、Airbnb、Uber和纽约时报等上万家企业已经选择了
Apache Kafka?作为流处理平台的事实标准。
人们的很多日常活动,例如阅读报纸、在线购物、预订酒店或航班、搭乘出租车、玩电子游戏或是拨打电话,其后台都已由
Kafka提供支持。
为什么需要流处理?
为了说明流处理技术的作用,我在此给出一个适用于多个不同行业的很好例子。假设我们需要去实时创建并维护客户的全面档
案。这样做出于很多的原因,包括:
为创造更好的客户体验。例如,“这位高级客户在过去五分钟内尝试多次结账购物车,但由于我们最近的网站更新错误而产生
失败。因此,我们需要立即向该客户提供折扣,并对所造成的不良用户体验致歉。”
为尽量降低风险。例如,“这笔新的付款操作似乎存在欺诈。因为该付款是在美国境外发起的,但客户的手机应用报告她身处
纽约市。我们应立即阻止这笔付款,并第一时间联系该客户。”
该用例需要实时汇集来自各种内部渠道的以及一些可能外部渠道的数据,然后将这些信息整合到全面客户档案(也称为客户
的“360度档案”)中。而且一旦任何渠道有新的信息可用,档案都会得到立即更新。
下图描绘了我们如何使用Kafka实现该用例的高层设置。其中,客户数据从各种来源的数据流中持续收集。全面客户档案保持
在表中,表根据这些数据来源构建并持续更新。所有这些操作都是实时的,并具有一定的规模。
图1 从内部和外部客户数据流实时构建全面客户档案
上图的概念非常简单,它与人们对人体神经系统工作方式的理解几乎匹配。神经系统将来自眼睛、耳朵、四肢等传感器的数据
传输到大脑,以便人们能够快速做出明智的决定,例如过马路是否安全。这就是为什么Kafka常被认为是数字原生公司的“中枢
神经系统”。
weixin_38610277
- 粉丝: 8
- 资源: 906
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0