目录

一：简介

二：Hbase重要概念：

Hbase的表结构

表Table

命名空间namespace

行键Row Key

区域region

列簇column family

修饰符（列限定符）

三：Hbase shell基本操作：

1.创建简单表：

2.修改（添加、删除）表结构：

3.获取表的描述describe

4.列举所有表list

5.表是否存在exists

6.启用表enable和禁用表disable

7.删除表drop

8.namespace命令

9.插入或修改数据put

10.获取数据get

11.全表扫描

12.删除某个列簇中的某个列delete

13.删除某行数据deleteall

14.清空表数据truncate

15.filter

ValueFileter的使用方法：

PrefixFilter的使用方法：

KeyOnlyFilter的使用方法：

增加内容：

---

一：简介

HBase的名字的来源于Hadoop database，即hadoop数据库，不同于一般的关系数据库，它是非结构化数据存储的数据库，而且它是基于列的而不是基于行的模式。

HBase是一个分布式的、面向列的、基于Google Bigtable的开源实现。
利用Hadoop HDFS作为其文件存储系统，
利用Hadoop MapReduce来处理HBase中的海量数据，
利用Zookeeper作为协同服务。

二：Hbase重要概念：

Hbase的表结构

HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)，每个列族/列簇下面可以有多个普通列。

表Table

HBase是用表来存储数据的。

命名空间namespace

namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database，方便对表在业务上划分。
HBase系统默认定义了两个缺省的namespace：

     hbase：系统内建表，包含namespace和meta表
     default：用户建表时未指定namespace的表都创建在此

行键Row Key

行键，每一行的主键列，每行的行键要唯一，行键的值为任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes),（在HBase内部,rowKey保存为字节数组byte[]。）
行的一次读写是原子操作 (不论一次读写多少列)

区域region

Table在行的方向上分割为多个Region。

Region是按大小分割的，每个表开始只有一个region，随着数据的增多，region不断增大，当增大到一个阀值的时候，region就会等分为两个新的region,之后会有越来越多的region。

Region是HBase中分布式存储和负载均衡的最小单元。不同的Region分布到不同的RegionServer上。

一个RegionServer包含一个WAL、一个BlockCache (读缓存)和多个Region

一个Region包含多个存储区，每个存储区对应一个列族

一个存储区由多个StoreFile和MemStore组成 一个StoreFile对应于一个HFile和一个列族

HFile和WAL作为序列文件保存在HDFS上

Client与RegionServer交互

列簇column family

列族是每个子列的父级，每个子列都属于一个列族,一个列族包含一个或者多个相关列，创建表的时候需要指定列族，而列不需要必须指定。通过“列族名:列名”来表示某个具体的子列。

HBase中的Schema就是 TableName + Column Family Name

修饰符（列限定符）

就是列族下的每个子列名称，或者称为相关列，或者称为限定符，只是翻译不同。
通过columnFamily:column来定位某个子列。

三：Hbase shell基本操作：

1.创建简单表：

create '表名', {NAME => '列簇名1'},{NAME => '列簇名2'}......

# 简写版
create '表名', '列簇名1','列簇名2','列簇名3'

# 详细版
create '表名', {NAME => '列簇名1' ,VERSIONS => 版本号, TTL => 过期时间, BLOCKCACHE => true}

# 例子
create 't1', {NAME => 'f1', VERSIONS => 1, TTL => 2592000, BLOCKCACHE => true}

2.修改（添加、删除）表结构：

2.1 添加一个列簇

#语法
alter '表名','列簇名'

2.2 删除一个列簇

#语法
alter '表名',{NAME => '列簇名',METHOD => 'delete'}

2.3 修改列簇的属性

#修改f1列簇的版本为5
alter 't1',NAME => 'f1',versions => 5

#修改多个列簇，修改f2为内存，版本号为5
alter 't1','f1',{NAME => 'f2',IN_MEMORY => true},{NAME => 'f3',versions => 5}

也可以修改table-scope属性，例如MAX_FILESIZE, READONLY,MEMSTORE_FLUSHSIZE,DEFERRED_LOG_FLUSH等。
# 例如，修改region的最大大小为128MB：
alter 't1', MAX_FILESIZE => '134217728'

3.获取表的描述describe

#语法
describe '表名'

4.列举所有表list

5.表是否存在exists

exists '表名'

6.启用表enable和禁用表disable

通过enable和disable来启用/禁用这个表,相应的可以通过is_enabled和is_disabled来检查表是否被禁用。

# 语法
enable '表名'
is_enabled '表名'

disable '表名'
is_disabled '表名'

7.删除表drop

需要先禁用表，然后再删除表，启用的表是不允许删除的

#语法
disable '表名'
drop '表名' 

8.namespace命令

8.1列举命名空间 list_namespace

8.2获取命名空间描述 describe_namespace

8.3查看命名空间下的所有表 list_namespace_tables

8.4创建命名空间 create_namespace

8.5修改命名空间的属性 

alter_namespace 'ns1',{METHOD => 'set','PROPERTY_NAME' => 'PROPERTY_VALUE'}

#delete a property
alter_namespace 'ns1',{METHOD => 'unset', NAME => 'PROPERTY_NAME'}

8.6 删除命名空间drop_namespace  '命名空间名称'

9.插入或修改数据put

put '表名', '行键', '列族名', '列值'
put '表名', '行键', '列族名:列名', '列值'

10.获取数据get

get '表名','行键'

#根据某一行某列簇的数据
get '表名','行键','列簇名'

11.全表扫描

scan '表名'

#扫描列簇
scan '表名',{column=>'列簇名'}

#扫描列簇的某个列
scan '表名',{column=>'列簇名:列名'}

12.删除某个列簇中的某个列delete

delete '表名','行键','列簇名：列名'

13.删除某行数据deleteall

deleteall '表名','行键'

14.清空表数据truncate

15.filter

列举几个常用的filter

ColumnPrefixFilter 列前缀包含某字符的查找

PrefixFilter 前缀包含某字符的查找

ValueFilter 包含某字符的查找

StartRow 从列簇为某值开始往后查找

StopRow 找到列簇为某值结束

ValueFileter的使用方法：

谁的值=sku188
scan 'test1', FILTER=>"ValueFilter(=,'binary:sku188')"

谁的值包含88
scan 'test1',FILTER=>"ValueFilter(=,'substring:88')"

通过广告点击进来的(column为c2)值包含88 的用户
scan 'test1',FILTER=>"ColumnPrefixFilter('c2') AND ValueFilter(=,'substring:88')"

PrefixFilter的使用方法：

rowkey为user1开头的
scan 'test1',FILTER => "PrefixFilter('user1')"

KeyOnlyFilter的使用方法：

只要key,不要value
scan 'test1' FILTER=>"FirstKeyOnlyFilter() AND ValueFilter(=,'binary:sku188') AND KeyOnlyFilter()"

增加内容：

Hbase数据映射到Hive中的方法：

create external table emp(                                     //在Hive中创建表
emp_id string,
emp_name string,
emp_age string
)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with
serdeproperties
(
"hbase.columns.mapping" = ":key,base:name,base:age"            //在Hbase中的映射，分别为行键、列簇:列名
)
tblproperties("hbase.table.name" = "emp")                      //在Hbase中的表名

hbase大表快速count：

hbase org.apache.hadoop.hbase.mapreduce.RowCounter '表名'