大数据平台的技术演化之路诸葛io平台设计实例

如今，数据分析能力正逐渐成为企业发展的标配，企业通过数据分析的过程将数据中的信息提取出来，进行处理、识别、加工、呈现，最后成为指导企业业务发展的知识和智慧。而处理、识别、加工、呈现的过程从本质上来讲，就是实现对数据的采集、清洗、加工、加载、建模分析，再到可视化的过程。采集是指集中企业待分析的原始数据的过程，例如可能是包含但不限于以下：-企业服务器的日志；-企业各种信息系统的数据（CRM/ERP/数据库）；-企业的网站/App/小程序等客户端的用户行为记录；-使用的第三方系统（客服、IM、HR）提供的API；采集的方式基本上分为两种：PUSH模式：企业的数据一般来讲都是散落在很多地方，各种系统或