HBase删除和修改操作
HBase的底层依赖于HDFS,其在进行数据存储的时候使用KeyValue类型。当数据进行删除或修改操作时,实际上是对KeyValue结构中的某些部分进行修改来完成。1 HBase源码分析之KeyValue参见HBase源码分析之KeyValue和HBase的基础类型KeyValueHBase是面向列的存储数据的,最终的存储单元都是KeyValue的结构,HBase本身也定义了一个KeyValue
HBase的底层依赖于HDFS,其在进行数据存储的时候使用KeyValue类型。当数据进行删除或修改操作时,实际上是对KeyValue结构中的某些部分进行修改来完成。
1 HBase源码分析之KeyValue
参见HBase源码分析之KeyValue和HBase的基础类型KeyValue
HBase是面向列的存储数据的,最终的存储单元都是KeyValue的结构,HBase本身也定义了一个KeyValue的类型,这是HBase数据存储的基本类型。
从名字来看应该只有两个数据,一个是Key,一个是Value,的确如此,不过这里的Key是多个元素的聚合,有rowkey,列族,列名,时间戳以及key的类型。
从左到右,依次为:
- Key Length:存储Key的长度,占4B;
- Value Length:存储Value的长度,占4B;
- Key:由Row Length、Row、Column Family Length、Column Family
- Row Length:存储Row的长度,即rowkey的长度,占2B;
- Row:存储Row实际内容,即Rowkey,其大小为Row Length;
- Column Family Length:存储列簇Column Family的长度,占1B;
- Column Family:存储Column Family实际内容,大小为Column Family Length;
- Column Qualifier:存储Column Qualifier对应的数据,既然key中其他所有字段的大小都知道了,整个key的大小也知道了,那么这个Column Qualifier大小也是明确的了,无需再存储其length;
- Time Stamp:存储时间戳Time Stamp,占8B;
- Key Type:存储Key类型Key Type,占1B,Type分为Put、Delete、DeleteColumn、DeleteFamilyVersion、DeleteFamily等类型,标记这个KeyValue的类型;
- Value:存储单元格Cell对应的实际的值Value。
2 删除数据
由于HBase底层依赖HDFS,对于HBase删除操作来说,HBase无法在查询到之前的数据并进行修改,只能顺序读写,追加记录。那HBase只能追加记录了,为了更新或删除数据,HBase会插入一条一模一样的新的数据,但是key type会标记成Delete状态,以标记该记录被删除。在读取的时候如果取到了是Delete,而且时间是最新的,那么这条记录肯定是被删掉了。
3 更新数据
进行更新操作的时候,也会重新插入一条新的数据来代替在原来数据上修改。新的数据的timestamp会大于老的数据,这样读取的时候,判断时间戳就可以取出最新的数据了。
4 总结
由于HBase这样的删除和更新机制,如果后面没有一个对于过期数据处理的机制,会导致过期数据越来越大,因此后面的compact操作中的major compact就顺便将过期的数据删除掉了。
对于标记为删除的数据,直接删除。对于不同时间戳的多条数据,根据其保存的最大版本数据,删除过期的数据。
更多推荐
所有评论(0)