NiFi实时离线数据采集工具
133 浏览量
2023-11-16
22:51:55
上传
评论
收藏 8.81MB DOCX 举报
一、什么是 NiFi
Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统，在大数据生
态中的定位是成为一个统一的，与数据源无关的大数据集成平台。Apache NiFi 是为数据流
设计，它支持高度可配置的指示图，来指示数据路由、转换和系统中流转关系，支持从多种
数据源动态拉取数据。简单地说，NiFi 是为自动化系统之间的数据流而生。这里的数据流表
示系统之间的自动化和受管理的信息流。 基于 WEB 图形界面，通过拖拽、连接、配置完成
基于流程的编程，实现数据采集、处理等功能。未来 NiFi 有可能替换 Flume、Sqoop 等大
数据导数据的工具。
1、NiFi 背景介绍
2006 年 NiFi 由美国国家安全局（NSA）的 Joe Witt 创建。2015 年 7 月 20 日，Apache
基金会宣布 Apache NiFill 利孵化成为 Apache 的顶级项目之一。NiFi 初始的项目名称是
Niagarafiles,当 NiFi 项目开源之后，一些早先在 NSA 的开发者们创立了初创公司 Onyara,
Onyara 随之继续 NiFi 项目的开发并提供相关的支持。Hortonworks 公司收购了 Onyara 并将
其开发者整合到自己的团队中,形成 HDF (Hortonworks Data Flow)平台。2018 年 Cloudera 与
Hortonworks 合并后,新的 CDH 整合 HDF,改名为 Cloudera Data Flow(CDF)。 Cloudera 将 NiFi
作为其新产品 Cloudera Flow Management 和 Cloudera Edge Management 的核心组件推出，
可以方便地使用 Cloudera Manager 进行 Parcel 安装和集成，而 Apache NiFi 就是 CFM 的核
心组件。
2、传统数据流解决方案遇到的问题
传统数据流接收处理过程中存在如下问题：
（1）系统错误
包括网络错误、磁盘错误、软件崩溃，甚至是人为操作错误，造成了数据流处理不稳定。
（2）数据访问超过处理能力
当数据处理某一模块出现瓶颈问题时，不能及时处理到达的数据
（3）异常数据处理
剩余89页未读，继续阅读
资源评论
