Hbase优化-参数优化

本文主要是从 HBase 应用程序设计与开发的角度，总结几种常用的性能优化方

法。有关 HBase 系统配置级别的优化，这里涉及的不多

1. 表的设计

1.1 Pre-Creating Regions

默认情况下，在创建 HBase 表的时候会自动创建一个 region 分区，当导入

数据的时候，所有的 HBase 客户端都向这一个 region 写数据，直到这个 region

足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空

的 regions，这样当数据写入 HBase 时，会按照 region 分区情况，在集群内做

数据的负载均衡。

admin.createTable(table, splits);

return true;

} catch (TableExistsException e) {

logger.info("table " + table.getNameAsString() + " already exists");

// the table already exists...

return false;

}

}

public static byte[][] getHexSplits(String startKey, String endKey, int

numRegions) {

lowestKey = lowestKey.add(regionIncrement);

for(int i=0; i < numRegions-1;i++) {

BigInteger key =

lowestKey.add(regionIncrement.multiply(BigInteger.valueOf(i)));

byte[] b = String.format("%016x", key).getBytes();

splits[i] = b;

}

return splits;

}

1.2 Row Key

般为 10~100bytes，存为 byte[]字节数组，一般设计成定长的。

row key 是按照字典序存储，因此，设计 row key 时，要充分利用这个排序

特点，将经常一起读取的数据存储到一块，将最近可能会被访问的数据放在一块。

举个例子：如果最近写入 HBase 表中的数据是最可能被访问的，可以考虑将

时间戳作为 row key 的一部分，由于是字典序排序，所以可以使用

Long.MAX_VALUE - timestamp 作为 row key，这样能保证新写入的数据在读

取时可以被快速命中。

1.3 Column Family

不要在一张表里定义太多的 column family。目前 Hbase 并不能很好的处理

超过 2~3 个 column family 的表。因为某个 column family 在 flush 的时候，

它邻近的 column family 也会因关联效应被触发 flush，最终导致系统产生更多

的 I/O。感兴趣的同学可以对自己的 HBase 集群进行实际测试，从得到的测试

HColumnDescriptor.setMaxVersions(int maxVersions)设置表中数据的最大

版本，如果只需要保存最新版本的数据，那么可以设置 setMaxVersions(1)。

1.6 Time To Live