hadoop-test-report.zip_hadoop_hadoop word_压力测试报告

Hadoop 集群测试报告

1.测试环境

硬件环境

软件环境

o RHEL6.2 2.6.32-220.el6.x86_64

o hadoop-1.0.2

o hive-0.8.1

o hbase-0.92.1

o Oracle 11g_r2（64 位）

3.1 写测试

写 10 个 1000M 的文件

[root@hadoop1 hadoop]# hadoop jar hadoop-test-1.0.2.jar TestDFSIO -write -nrFiles 10 -fileSize

1000

结果：

----- TestDFSIO ----- : write

Date & time: Tue Jul 10 10:52:56 CST 2012

Number of files: 10

Total MBytes processed: 10000

Throughput mb/sec: 19.991963230781227

3.2 读测试

读 10 个 1000M 的文件

[root@hadoop1 hadoop]# hadoop jar hadoop-test-1.0.2.jar TestDFSIO -read -nrFiles 10 -fileSize

1000

结果：

----- TestDFSIO ----- : read

Date & time: Tue Jul 10 11:03:14 CST 2012

Number of files: 10

Total MBytes processed: 10000

3.3 排序测试

1. 在各节点上分别运行 10 个 map 任务，每个节点产生 10GB 大小的随机二进制数据。

# hadoop jar hadoop-examples-1.0.2.jar randomwriter /benchmarks/random-data

MapReduce（map:90 个,reduce:0 个） Finished in: 14mins, 37sec

2. 排序

#hadoop jar hadoop-examples-1.0.2.jar sort /benchmarks/random-data

/benchmarks/sorted-data

MapReduce（map:720 个,reduce:48 个） Finished in: 1hrs, 34mins, 15sec

3. 检查是否已经排好序

#hadoop jar hadoop-test-1.0.2.jar testmapredsort -sortInput /benchmarks/random-data

次。

#hadoop jar hadoop-test-1.0.2.jar mrbench -numRuns 10 -maps 6 -reduces 2 -inputLines

10000