核心技术创新点
提高原有存储过程型应用向云平台的迁移效率,降低实现成本
动态选择 SQL 在 Hadoop 环境下的最优并行方案
根据集群资源状态,自适应调配存储粒度,进一步提升应用的并发水平
突破 Hadoop 只支持 K-V 查询的技术局限,大幅提升了大数据查询效率
实现大文件读取与随机改写效率的综合调优,有效提高了存储过程复杂
分析语句的运行性能
基于查询重写的 SQL 到 Hadoop 映射技术
I/O 敏感代价模型驱动的并行方案优选技术
集群资源感知的自适应分区技术
基于混合多维索引的大数据查询技术
基于组合存储的并行读写优化技术
提供 Hadoop 环境中的 DML 语言支持能力,提高存储过程中 Update 、
Insert 、 Delete 等语句的运行效率
优化多任务并发状态下的计算和 IO 资源利用率,有效提升分析计算任务
的综合执行效率
为准实时的多数据源之间的数据一致性保障提供技术支撑
根据数据更新规模,动态调整 ETL 任务并发度,实现资源的集约化利用
基于改进多版本机制的 DML 增强技术
基于装箱模型的并发计算任务工作流的智能规划技术
基于交叉 Hash 校验的数据一致性保障技术
负载敏感的数据 ETL 并发度按需调节技术
开源 Hadoop 平台无法直接应用于智能电网的复杂业务需求,需要结合业务实
际,进行大量实用化研发和优化完善工作。
4