https://blog.csdn.net/y472360651/article/details/79059457
1、安装(三选一即可)
conda install -c conda-forge happybase
conda install -c conda-forge/label/gcc7 happybase
conda install -c conda-forge/label/cf201901 happybase
2、连接(happybase.Connection)
happybase.Connection(host=’localhost’, port=9090, timeout=None, autoconnect=True, table_prefix=None, table_prefix_separator=b’’, compat=’0.98’, transport=’buffered’, protocol=’binary’):获取连接实例
host:主机名
port:端口
timeout:超时时间
autoconnect:连接是否直接打开
table_prefix:用于构造表名的前缀
table_prefix_separator:用于table_prefix的分隔符
compat:兼容模式
transport:运输模式
protocol:协议
connection = happybase.Connection(host=“192.168.0.156”,port=9090,timeout=None,autoconnect=True,table_prefix=None,table_prefix_separator=b’
’,compat=‘0.98’, transport=‘buffered’,protocol=‘binary’)

open():打开传输,无返回值
connection.open()

close():关闭传输,无返回值
connection.close()

compact_table(name,major=False):压缩指定表格,无返回值
name:表名
major:是否主要压缩
connection.compact_table(name,major=False)

create_table(name,families):创建表,无返回值
name:表名
families:列族
families = {
“cf”:dict(),
“df”:dict()
}
connection.create_table(name,families) # 如果连接时,有传递表前缀参数时,真实表名将会是:"{}_{}".format(table_prefix,name)12345

delete_table(name,disable=False):删除表,无返回值
name:表名
disable:是否先禁用表
connection.delete_table(name,disable=False)

disable_table(name):禁用表,无返回值
name:表名
connection.disable_table(name)

enable_table(name):启用表,无返回值
name:表名
connection.enable_table(name)

is_table_enabled(name):表是否已经被启用,返回一个bool值
name:表名
connection.is_table_enabled(name)

connection.table(name,user_prefix=True):获取一个表对象,返回一个happybase.Table对象
name:表名
user_prefix:是否使用表前缀,默认为True
table = connection.table(name,user_prefix=True) # table为happybase.table.Table类型

connection.tables():获取Hbase实例中的表名列表,返回一个list
table_name_list = connection.tables()

表(happybase.Table)
happybase.Table(name,connection):获取表实例
name:表名
connection:连接
table = happybase.Table(name,connection)

cells(row, column, versions=None, timestamp=None, include_timestamp=False):获取单元格数据,返回一个list
row:行
column:列
versions:获取的最大版本数量,默认None,即获取所有
timestamp:时间戳,默认None,即获取所有时间戳版本的数据。可指定一个时间戳,获取小于此时间戳版本的所有数据
include_timestamp:是否返回时间戳,默认False
content = =table.cells(‘row1’,‘cf:1’,5,timestamp=1514861929124,include_timestamp=True)
print content # [(‘1’, 1514861925674L)]12

counter_set(row,column,value=0):设置计数器列为特定值,此方法在指定列中存储一个64位有符号整数值。无返回值
row:行
column:列
value:默认值,默认为0
table.counter_set(row,column,value=0)
table.counter_get(row,column):获取计数器列的值,返回当前单元格的值
row:行
column:列
content = table.counter_get(row,column)

counter_dec(row,column,value=1):计数器列递减,返回递减后单元格的值
row:行
column:列
value:每次递减的值,默认为1
content = table.counter_dec(row,column,value=1)

counter_inc(row,column,value=1):计数器列递增,返回递增后单元格的值
row:行
column:列
value:每次递增的值,默认为1
content = table.counter_inc(row,column,value=1)

delete(row, columns=None, timestamp=None, wal=True):删除指定行数据,无返回值
row:行
columns:列,默认为None,即删除所有列,可传入一个list或tuple来指定删除列
timestamp:时间戳,默认为None,即删除所有,可传入一个时间戳来删除小于等于此时间戳的所有数据
wal:是否写入wal,默认为True
table.delete(row, columns=None, timestamp=None, wal=True)1

families():获取所有列族信息,返回一个dict
info = table.families()
print info

{
‘cf’: {
‘max_versions’: 3,
‘bloom_filter_vector_size’: 0,
‘name’: 'cf: ',
‘bloom_filter_type’: ‘NONE’,
‘bloom_filter_nb_hashes’: 0,
‘time_to_live’: 2147483647,
‘in_memory’: False,
‘block_cache_enabled’: False,
‘compression’: ‘NONE’
},
‘cd’: {
‘max_versions’: 3,
‘bloom_filter_vector_size’: 0,
‘name’: 'cd: ',
‘bloom_filter_type’: ‘NONE’,
‘bloom_filter_nb_hashes’: 0,
‘time_to_live’: 2147483647,
‘in_memory’: False,
‘block_cache_enabled’: False,
‘compression’: ‘NONE’
}
}123456789101112131415161718192021222324252627

put(row, data, timestamp=None, wal=True):插入数据,无返回值
row: 行
data: 数据,dict类型,{列:值}构成,列与值皆为str类型
timestamp:时间戳,默认None,即写入当前时间戳
wal:是否写入wal,默认为True
#在row1行,cf:1列插入值1
table.put(“row1”,{“cf:1”:“1”})

batch
table.put()方法会立即给Hbase Thrift server发送一条命令。其实这种方法的效率并不高,我们可以使用更高效的table.batch()方法。
#使用batch一次插入多行数据
bat = table.batch()
bat.put(‘www.test5.com’, {‘cf1:price’: 999, ‘cf2:title’: ‘Hello Python’, ‘cf2:length’: 34, ‘cf3:code’: ‘A43’})
bat.put(‘www.test6.com’, {‘cf1:content’: u’剃须刀’, ‘cf1:price’: 168, ‘cf1:rating’: ‘97%’})
bat.put(‘www.test7.com’, {‘cf3:function’: ‘print’})
bat.send()
更有用的方法是使用上下文管理器来管理batch,这样就不用手动发送数据了,即不再需要bat.send()
#使用with来管理batch
with table.batch() as bat:
bat.put(‘www.test5.com’, {‘cf1:price’: ‘999’, ‘cf2:title’: ‘Hello Python’, ‘cf2:length’: ‘34’, ‘cf3:code’: ‘A43’})
bat.put(‘www.test6.com’, {‘cf1:content’: u’剃须刀’, ‘cf1:price’: ‘168’, ‘cf1:rating’: ‘97%’})
bat.put(‘www.test7.com’, {‘cf3:function’: ‘print’})
还可以删除数据
#在batch中删除数据
with table.batch() as bat:
bat.put(‘www.test5.com’, {‘cf1:price’: ‘999’, ‘cf2:title’: ‘Hello Python’, ‘cf2:length’: ‘34’, ‘cf3:code’: ‘A43’})
bat.put(‘www.test6.com’, {‘cf1:content’: u’剃须刀’, ‘cf1:price’: ‘168’, ‘cf1:rating’: ‘97%’})
bat.put(‘www.test7.com’, {‘cf3:function’: ‘print’})
bat.delete(‘www.test1.com’)
batch将数据保存在内存中,知道数据被send,第一种send数据的方法是显示地发送,即bat.send(),第二种send数据的方法是到达with上下文管理器的结尾自动发送。这样就存在一个问题,万一数据量很大,就会占用太多的内存。所以我们在使用table.batch()的时候要通过batch_size参数来设置batch的大小
#通过batch_size参数来设置batch的大小
with table.batch(batch_size=10) as bat:
for i in range(16):
bat.put(‘www.test{}.com’.format(i), {‘cf1:price’: ‘{}’.format(i)})

regions():检索此表的区域服务器信息
info = table.regions()
print info
#[{‘name’: ‘ddd_ch,1514948783663.caccaafa3df04cd75737a9effb5615d4.’, ‘server_name’: ‘slave3’, ‘port’: 16020, ‘end_key’: ‘’, ‘version’: 1, ‘start_key’: ‘’, ‘id’: 1514948783663L}]1234
row(row, columns=None, timestamp=None, include_timestamp=False):获取一行数据,返回一个dict

row:行
columns: 列,默认为None,即获取所有列,可传入一个list或tuple来指定获取列
timestamp:时间戳。默认为None,即返回最大的那个时间戳的数据。可传入一个时间戳来获取小于此时间戳的最大时间戳的版本数据
include_timestamp:是否返回时间戳数据,默认为False

info = table.row(row, columns=None, timestamp=None, include_timestamp=False)1

rows(rows, columns=None, timestamp=None, include_timestamp=False):获取多行数据,返回一个list
rows:行,可传入一个list或tuple来指定获取
columns: 列,默认为None,即获取所有列,可传入一个list或tuple来指定获取列
timestamp:时间戳。默认为None,即返回最大的那个时间戳的数据。可传入一个时间戳来获取小于此时间戳的最大时间戳的版本数据
include_timestamp:是否返回时间戳数据,默认为False
info = table.rows(rows, columns=None, timestamp=None, include_timestamp=False)1

scan(row_start=None, row_stop=None, row_prefix=None, columns=None, filter=None, timestamp=None, include_timestamp=False, batch_size=1000, scan_batching=None, limit=None, sorted_columns=False, reverse=False):获取一个扫描器,返回一个generator
row_start:起始行,默认None,即第一行,可传入行号指定从哪一行开始
row_stop:结束行,默认None,即最后一行,可传入行号指定到哪一行结束(不获取此行数据)
row_prefix:行号前缀,默认为None,即不指定前缀扫描,可传入前缀来扫描符合此前缀的行
columns:列,默认为None,即获取所有列,可传入一个list或tuple来指定获取列
filter:过滤字符串
timestamp:时间戳。默认为None,即返回最大的那个时间戳的数据。可传入一个时间戳来获取小于此时间戳的最大时间戳的版本数据
include_timestamp:是否返回时间戳数据,默认为False
batch_size:用于检索结果的批量大小
scan_batching:服务端扫描批处理
limit:数量
sorted_columns:是否返回排序的列(根据行名称排序)
reverse:是否执行反向扫描
scanner = table.scan(row_start=None, row_stop=None, row_prefix=None, columns=None, filter=None, timestamp=None, include_timestamp=False, batch_size=1000, scan_batching=None, limit=None, sorted_columns=False, reverse=False)

扫描一个table里的数据
#全局扫描一个table
for key, value in table.scan():
print key, value
结果如下:
这种全局扫描一个表格其实代价是很大的,尤其是当数据量很大的时候。我们可以通过设置开始的row key 或结束的row key或者同时设置开始和结束的row key来进行局部查询
#通过row_start参数来设置开始扫描的row key
for key, value in table.scan(row_start=‘www.test2.com’):
print key, value
#通过row_stop参数来设置结束扫描的row key
for key, value in table.scan(row_stop=‘www.test3.com’):
print key, value
#通过row_start和row_stop参数来设置开始和结束扫描的row key
for key, value in table.scan(row_start=‘www.test2.com’, row_stop=‘www.test3.com’):
print key, value
另外,还可以通过设置row key的前缀来进行局部扫描
#通过row_prefix参数来设置需要扫描的row key
for key, value in table.scan(row_prefix=‘www.test’):
print key, value

3、使用连接池
Hbase自带有线程安全的连接池,踏允许多个线程共享和重用已经打开的连接。这对于多线程的应用是非常有用的。当一个线程申请一个连接,它将获得一个租赁凭证,在此期间,这个线程单独享有这个连接。当这个线程使用完该连接之后,它将该连接归还给连接池以便其他的线程可以使用
#创建连接,通过参数size来设置连接池中连接的个数
pool = happybase.ConnectionPool(size=3, host=‘10.1.13.111’, table_prefix=‘myProject’)
#获取连接
with pool.connection() as connection:
print connection.tables()

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐