Fork me on GitHub

HBase基础学习-二之hbase数据结构、原理

发表于

HBase数据结构

RowKey

与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行，只有三种方式：

  1. 通过单个RowKey访问(get)
  2. 通过RowKey的range（正则）(like)
  3. 全表扫描(scan)

RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB，实际应用中长度一般为 10-100bytes)，在HBASE内部，RowKey保存为字节数组。存储时，数据按照RowKey的字典序(byte order)排序存储。设计RowKey时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)

Column Family

列族：HBASE表中的每个列，都归属于某个列族。列族是表的schema的一部 分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如 courses:history，courses:math都属于courses 这个列族。

Cell

由{rowkey, column Family:columu, version} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。
关键字：无类型、字节码

Time Stamp

HBASE 中通过rowkey和columns确定的为一个存贮单元称为cell。每个 cell都保存 着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由HBASE(在数据写入时自动 )赋值，此时时间戳是精确到毫秒 的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版 本冲突，就必须自己生成具有唯一性的时间戳。每个 cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。

为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，HBASE提供 了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段 时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。

命名空间

命名空间的结构:
image

  1. Table：表，所有的表都是命名空间的成员，即表必属于某个命名空间，如果没有指定，则在default默认的命名空间中。
  2. RegionServer group：一个命名空间包含了默认的RegionServer Group。
  3. Permission：权限，命名空间能够让我们来定义访问控制列表ACL（Access Control List）。例如，创建表，读取表，删除，更新等等操作。
  4. Quota：限额，可以强制一个命名空间可包含的region的数量。

HBase原理

image

读流程

image

  1. Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息；
  2. 根据namespace、表名和rowkey在meta表中找到对应的region信息；
  3. 找到这个region对应的regionserver；
  4. 查找对应的region；
  5. 先从MemStore找数据，如果没有，再到BlockCache里面读；
  6. BlockCache还没有，再到StoreFile上读(为了读取的效率)；
  7. 如果是从StoreFile里面读取的数据，不是直接返回给客户端，而是先写入BlockCache，再返回给客户端。

写流程

image

  1. Client向HregionServer发送写请求；
  2. HregionServer将数据写到HLog（write ahead log）。为了数据的持久化和恢复；
  3. HregionServer将数据写到内存（MemStore）；
  4. 反馈Client写成功。

数据flush过程

  1. 当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据；
  2. 并将数据存储到HDFS中；
  3. 在HLog中做标记点。

数据合并过程

  1. 当数据块达到3块，Hmaster触发合并操作，Region将数据块加载到本地，进行合并；
  2. 当合并的数据超过256M，进行拆分，将拆分后的Region分配给不同的HregionServer管理；
  3. 当HregionServer宕机后，将HregionServer上的hlog拆分，然后分配给不同的HregionServer加载，修改.META.；
  4. 注意：HLog会同步到HDFS。