大数据平台测试标准.doc

大数据标准化工作组织：ISO/IEC ITU NIST TPC SPEC TPC和SPEC两个组织关注大数据技术平台的基准测试： 测试标准： TPCx-HS、TPCx-BB 工具：TeraSort 大数据测试第一阶段 大数据平台(Hadoop平台)基准测试的方法论和具体实施方案： 《大数据平台基准测试第一部分：技术要求》 《大数据平台基准测试第二部分：测试方法》 基准测试主要从性能的角度衡量大数据平台，主要考虑数据生成、负载选择和明确测试 指标等内容。根据Hadoop平台的特点，从NoSQL任务、机器学习、SQL任务、批处理四大 类任务中选择了10个测试用例作为负载。 大数据测试第二阶段 《Hadoop平台基础能力测试方法》 《Hadoop平台性能测试方法》 性能测试在基准测试的基础上进行了升级，如图2所示，增加了SQL用例的比重，按照SQ L任务的类型，从两个维度确立了5类任务，分别是CPU密集型任务、I/O密集型任务、报 表任务、分析型任务、交互式查询。HBase的优势在于并发检索和读的性能，在负载方面 选择了批量写入数据、并发读任务占多、并发更新任务较重、读取更改然后写回4类场景 ，充分检验了HBase数据库的并发执行能力。在机器学习和批处理方面相对基准测试方法 减少了2个用例 Hadoop平台基础能力测试用例分布 Hadoop平台基础能力涵盖了运维管理、可用性、功能、兼容性、安全、多租户和扩展性 等指标，总共38项测试用例： MPP数据库(面向在线分析处理(on-lineanalyticalprocessing，OLAP))的标准化 《MPP数据库基础能力测试方法》 工具： Terasort BigDataBench HBase性能由YCSB(Yahoo!cloudservingbenchmark)工具来测试 ----------------------- 大数据平台测试标准全文共2页，当前为第1页。 大数据平台测试标准全文共2页，当前为第2页。