产品经理一份全面的企业数据产品选型对比(含数仓、报表、BI、中台、数据治理) (2).pdf
版权申诉
27 浏览量
2022-05-31
21:53:32
上传
评论
收藏 224KB PDF 举报
编辑导语：在如今这个数据化时代，数据对于个人和企业来说，其重要性
都不可小觑。因此，有不少企业强化了数据工作，加强企业数据建设。接下
来，本文作者整理了一份超全面的企业数据产品的选型对比，希望对大家有所
帮助。
前言：
这个从上至下都在强调数字化转型的时代，越来越多公司重视数据，也越
来越多的企业有数据建设的需求。
企业无论做任何数据工作，必然要有一定的信息化基础，也要有数据化建
设的基础，少不了数据平台、数据应用工具，数据管理工具等。
关于企业数据建设这块，本人从事了近 7 年，从技术到项目管理，做过乙
方也做过甲方，也有多年和各乙方厂商打交道的经验，遂来分享选型“内幕”。
涉及到的产品有：数仓、大数据平台、报表、BI、数据中台、数据治理
等。
数据仓库算是一个解决方案，视企业需求有不同架构（传统数仓、数据集
市、大数据平台等），架构下有很多分层和组件，比起工具更需要架构师能
力，具体原理就不讲了。
关于数仓的选型主要涉及：数据存储方案、ETL、还有前端应用。
底层的数据仓库服务器通常是一个关系数据库系统，常用的方案有
Oracle、db2、还有 greenplum、teredata 等数据仓库专业解决方案。
Teradata 老江湖了，银行业使用较多，但成本也是真的贵，目前我们做项
目较多的是用 Greenplum，算是业界最快和最高性价比的高端数据仓库解决方
案，Greenplum 是基于 PostgreSQL 的，于 2015 年开源。
我知道的国内四大行有 3 家在用，5 大物流公司有 4 家在用，不少公司在从
Teradata 迁移到 GP。
大数据平台主流的是：Hadoop+Hive。这套方案有多通用不用多说了，后
面说到的大数据平台厂商也大多基于这个来设计平台产品。
ETL 工具，kettle、Tablend 和 Penthao 用的较多。
Talend：基于 Eclipse，具有很好的扩展性、稳定性以及可定制化（可以自
己开发 eclipse 插件），并且服从 Eclipse 标准（如文件目录结构都是程序员熟
悉的结构）。
Talend 具有很好的嵌入性，因为它生成的是 Java 代码，这些代码可以很好
的和其他系统结合在一起，这就要求使用者会 java。
Penthao 是一个老牌工具，2001 年就发布了第一个版本，Kettle 是 Penthao
整个解决方案的一个组件，用来进行数据集成。
它也是基于 java 开发的，但是它不要求用户会 java，将底层实现细节都隐
藏了。主要的缺点是和 talend 相比，它的扩展性较差。由于它很难扩展，所以
在社区中可用的组件就比较少。
前端应用工具主要就是报表、BI 和数据挖掘，前两者的选型后面会细讲。
2013 年左右，Hadoop 体系的不断完善，标志着大数据应用场景可以被满足
了。这时候就有前沿的一些企业开始做大数据平台，厂商特别多，主流的就说
3 个吧，华为、星环还有新华三。
资源评论
