永洪Z-Data Mart白皮书

永洪科技发布的Z-Data Mart白皮书主要介绍了一款由永洪科技自主研发的数据存储与处理软件，强调了其对不同数据量级和IT架构的支持，并详细解释了两种数据处理模式：DataAccelerator模式和DataGrid模式。 ### 数据集市的概念 在BI（商业智能）领域，数据集市（Data Mart）通常指的是一种为特定业务领域或部门提供数据支持的数据仓库。它针对特定用户群体的需求，提供特定的、集中的数据集。与大型的企业级数据仓库相比，数据集市专注于某一业务范围，有利于快速响应并支持决策制定。 ### 处理模式 Z-Data Mart提供了两种数据处理模式：DataAccelerator和DataGrid。 #### DataAccelerator模式 当数据量级别处于TB级以下，或者采用普通的存储结构，或者单机已经足够满足性能需求时，DataAccelerator模式是首选。在这种模式下，客户端以单机为主，数据查询请求直接发送给数据仓库或数据库系统，数据通过分类和格式依次导入计算机。该模式在处理速度上利用了新型系统引擎和独有的压缩、存储及分析技术，相比现有的BI系统，能够达到十倍甚至几十倍的速度提升。 #### DataGrid模式 对于异构数据库存储系统，或者需要处理的数据量级别在TB级和PB级以上，IT系统和存储系统采用分布式架构时，DataGrid模式更加适合。该模式依赖于分布式计算和并行计算，运用MapReduce和Stream Computing理论开发的分布式系统架构，支持跨粒度、内存计算、列存储、流计算等多种特有的处理方式。DataGrid模式能够实现PB级数据的秒级查询，满足大数据分析的需求。 ### 关键技术与特点 1. **列存储**：相比于传统的行存储，列存储可以大幅提升数据的读取和处理效率，特别是在数据分析和查询处理中。 2. **DataGrid分布式计算系统**：结合Hadoop MapReduce和DataGrid MapReduce，为大数据处理提供强大的计算能力。 3. **DataGrid数据分析引擎**：提供高速的数据分析处理能力，支持复杂的数据分析需求。 4. **多路复用异步通信系统（DIO）**：提供高速的数据交互能力，降低系统IO访问频率。 ### 支持第三方 Yonghong DataMart除了支持永洪科技自己的Z-Suite套件中的Z-Dashboard、Z-Reporting和Z-AdhocQuery等工具外，还兼容第三方报表软件，如Cognos和BO。用户可以在不改变现有BI系统报表功能的情况下，通过引入Yonghong DataMart，大幅提升数据查询、钻取和展示的速度。尤其是在系统满负荷工作状态下，Yonghong DataMart依然能提供实时处理和敏捷响应。 ### 结论 Yonghong科技的Z-Data Mart白皮书通过介绍两种处理模式，展示了其软件在处理TB级乃至PB级数据时的优异性能和兼容性。产品通过独有的技术，如列存储、内存计算和并行处理等，显著提高了数据分析的效率，为快速决策制定提供了技术支持。同时，产品在大数据环境下的处理能力显示出其在商业智能领域的竞争优势，能够帮助用户在数据处理上实现质的飞跃，轻松应对数据带来的挑战。