web | Java

HBase中compact用途是什么,什么时候触发,分为哪两种,有什么区别?

千锋教育

在hbase中每当有memstore数据flush到磁盘之后,就形成一个storefile,当storeFile的数量达到一定程度后,就需要将 storefile 文件来进行 compaction 操作。 


Compact的作用: 

① 合并文件 


② 清除过期,多余版本的数据 


③ 提高读写数据的效率HBase中实现了两种

compaction的方式:minor和major. 这两种compaction方式的区别是:

 

1、Minor操作只用来做部分文件的合并操作以及包括 minVersion=0 并且设置 ttl 的过期版本清理,不做任何删除数据、多版本数据的清理工作。


2、Major操作是对Region下的HStore下的所有StoreFile执行合并操作,最终的结果是整理合并出一个文件。