Hbase的安装和基础编程
(一)安装Hbase,能够查询Hbase的版本由于HBase对Hadoop具有版本依赖性,所以在安装HBase2.2.2时要首先安装Hadoop3.1.3。①解压hbase-2.2.2-bin.tar.gz文件压缩格式的文件hbase-2.2.2-bin.tar.gz下载到本地电脑,保存在“/home/hadoop/下载”下,现在解压包装包至路径 /usr/local下。②文件改名将解压的文件名h
(一)安装
Hbase
,能够查询Hbase
的版本由于
HBase
对Hadoop
具有版本依赖性,所以在安装HBase2.2.2
时要首先安装Hadoop3.1.3
。①解压
hbase-2.2.2-bin.tar.gz
文件压缩格式的文件
hbase-2.2.2-bin.tar.gz
下载到本地电脑,保存在“/home/hadoop/下载
”下,现在解压包装包至路径/usr/local
下。
②文件改名
将解压的文件名
hbase-2.2.2
改为hbase
以方便使用。
把hbase
目录权限赋予给hadoop
用户。
③配置环境变量
将
hbase
下的bin
目录添加到path
中,这样启动hbase
就无需到/usr/local/hbase
目录下,大大的方便了hbase
的使用。
编辑~/.bashrc
文件,在尾行添加export PATH=$PATH:/usr/local/hbase/bin
如果已经引入过PATH
则在export PATH
这行追加/usr/local/hbase/bin
,这里的“:
”是分隔符。
编辑完成后,再执行source
命令使上述配置在当前终端立即生效。
④添加
HBase
权限⑤ 查看
HBase
版本,确定hbase
安装成功看到输出版本消息表示
HBase
已经安装成功。
(二)单机运行
Hbase
系统①配置
/usr/local/hbase/conf/hbase-env.sh
配置
JAVA
环境变量,并添加配置HBASE_MANAGES_ZK
为true
,用vi
命令打开并编辑hbase-env.sh
。
由于之前已经安装过Hadoop3.1.3
,则已经安装了JDK1.8
。JDK
的安装目录是/usr/lib/jvm/jdk1.8.0_162
, 则JAVA _HOME =/usr/lib/jvm/jdk1.8.0_162
;配置HBASE_MANAGES_ZK
为true
,表示由hbase
自己管理zookeeper
,不需要单独的zookeeper
。hbase-env.sh
中本来就存在这些变量的配置,所以只需要删除前面的#并修改配置内容即可(#代表注释)。添加完成后保存退出即可。
②配置
/usr/local/hbase/conf/hbase-site.xml
打开并编辑
hbase-site.xml
。
在启动HBase
前需要设置属性hbase.rootdir
,用于指定HBase
数据的存储位置,因为如果不设置的话,hbase.rootdir
默认为/tmp/hbase-${user.name}
,这意味着每次重启系统都会丢失数据。此处设置为HBase
安装目录下的hbase-tmp
文件夹即(/usr/local/hbase/hbase-tmp
),添加配置如下:
③测试运行
首先切换目录至
HBase
安装目录/usr/local/hbase
;再启动HBase
。其中sudo bin/start-hbase.sh
用于启动HBase
,bin/hbase shell
用于打开shell
命令行模式,用户可以通过输入shell
命令操作HBase
数据库。成功启动HBase
。
停止HBase
运行,命令如下。
注意:如果在操作HBase
的过程中发生错误,可以通过{HBASE_HOME}
目录(/usr/local/hbase
)下的logs
子目录中的日志文件查看错误原因。(三)实现
Hbase
的伪分布式启动①配置
/usr/local/hbase/conf/hbase-env.sh
配置
JAVA_HOME
,HBASE_CLASSPATH
,HBASE_MANAGES_ZK
.
HBASE_CLASSPATH
设置为本机HBase
安装目录下的conf
目录(即/usr/local/hbase/conf
)
②配置
/usr/local/hbase/conf/hbase-site.xml
用命令
vi
打开并编辑hbase-site.xml,命令如下。
修改hbase.rootdir
,指定HBase
数据在HDFS
上的存储路径;将属性hbase.cluter.distributed
设置为true
。假设当前Hadoop
集群运行在伪分布式模式下,在本机上运行,且NameNode
运行在9000
端口。
hbase.rootdir
指定HBase
的存储目录;hbase.cluster.distributed
设置集群处于分布式模式.另外,上面配置文件中,hbase.unsafe.stream.capability.enforce
这个属性的设置,是为了避免出现启动错误。也就是说,如果没有设置hbase.unsafe.stream.capability.enforce
为false
,那么,在启动HBase
以后,会出现无法找到HMaster
进程的错误,启动后查看系统启动日志(/usr/local/hbase/logs/hbase-hadoop-master-ubuntu.log
)会发现错误。③测试运行
HBase
a. 首先登陆
ssh
,之前设置了无密码登陆,因此这里不需要密码;再切换目录至/usr/local/hadoop
;再启动hadoop
,如果已经启动hadoop
请跳过此步骤。
输入命令jps
,能看到NameNode
,DataNode
和SecondaryNameNode
都已经成功启动,表示hadoop
启动成功。
b. 切换目录至/usr/local/hbase
,再启动HBase
。
c.启动成功,输入命令jps
,看到以下界面说明hbase
启动成功。
d.进入shell
界面
④停止
HBase
运行
注意:如果在操作HBase
的过程中发生错误,可以通过{HBASE_HOME}
目录(/usr/local/hbase
)下的logs
子目录中的日志文件查看错误原因。
这里启动关闭Hadoop
和HBase
的顺序一定是:
启动Hadoop
—>启动HBase
—>关闭HBase
—>关闭Hadoop
(四)运行
Hbase
相关的Shell
命令,实现表的创建,数据插入,数据删除,以及数据查看等操作1. 利用
Shell
命令①1.1
HBase
中创建表
a.HBase
中用create
命令创建表。
此时,即创建了一个“student
”表,属性有:Sname,Ssex,Sage,Sdept,course
。因为HBase
的表中会有一个系统默认的属性作为行键,无需自行创建,默认为put
命令操作中表名后第一个数据。创建完“student
”表后,可通过describe
命令查看“student
”表的基本信息。
2.
HBase
数据库基本操作在添加数据时,
HBase
会自动为添加的数据添加一个时间戳,故在需要修改数据时,只需直接添加数据,HBase
即会生成一个新的版本,从而完成“改”操作,旧的版本依旧保留,系统会定时回收垃圾数据,只留下最新的几个版本,保存的版本数可以在创建表的时候指定。
①添加数据
HBase
中用put命令添加数据,注意:一次只能为一个表的一行数据的一个列,也就是一个单元格添加一个数据,所以直接用shell
命令插入数据效率很低,在实际应用中,一般都是利用编程操作数据。
a.当运行命令:put ‘student’,’95001’,’Sname’,’LiYing’
时,即为student
表添加了学号为95001
,名字为LiYing
的一行数据,其行键为95001
。
b.当运行命令:put 'student','95001','course:math','80'
时,即为95001
行下的course
列族的math
列添加了一个数据。
②删除数据
在HBase
中用delete
以及deleteall
命令进行删除数据操作,它们的区别是:1.delete
用于删除一个数据,是put
的反向操作;2.deleteall
操作用于删除一行数据。
a.delete
命令
当运行命令:delete 'student','95001','Ssex'
时,即删除了student
表中95001
行下的Ssex
列的所有数据。
b.deleteall
命令
当运行命令deleteall 'student','95001'
时,即删除了student
表中的95001
行的全部数据。
③查看数据
HBase
中有两个用于查看数据的命令:
get
命令,用于查看表的某一行数据;scan
命令用于查看某个表的全部数据。
a.get
命令
当运行命令get 'student','95001'
时,返回的是‘student’
表‘95001’
行的数据。
b.scan
命令
当运行命令scan ‘student’
时返回的是‘student’
表的全部数据。
④删除表
删除表有两步,第一步先让该表不可用,第二步删除表。
3. 查询表历史数据
查询表的历史版本,需要两步。
a. 在创建表的时候,指定保存的版本数(假设指定为5)
b. 插入数据然后更新数据,使其产生历史版本数据,注意:这里插入数据和更新数据都是用put
命令。
c. 查询时,指定查询的历史版本数。默认会查询出最新的数据。(有效取值为1到5)
4. 退出
HBase
数据库表操作最后退出数据库操作,输入
exit
命令即可退出,注意:这里退出HBase
数据库是退出对数据库表的操作,而不是停止启动HBase
数据库后台运行。
(五)实现
Hbase
的Java
编程,在eclipse
中创建项目ExampleForHbase
。①启动
Eclipse
,启动以后,出现如下图所示界面,点击界面右下角的“Launch
”按钮。
启动进入Eclipse
以后的程序开发界面如下图所示。
②点击界面顶部的“File
”菜单,在弹出的子菜单(如下图所示)中选择“New
”,再选择子菜单中的“Java Project
”。
这时会弹出一个Java
工程创建对话框(如下图所示),在“Project name
”文本框中输入“HBaseExample
”,在“JRE
”选项卡中选中第2项“Use a project specific JRE
”,然后点击界面底部的“Next
”按钮。
③在弹出的界面中(如下图所示),用鼠标点击“Libraries
”选项卡,然后,点击界面右侧的“Add External JARs…
”按钮。
④在弹出的“JAR Selection
”界面中(如下图所示),进入到“/usr/local/hbase/lib
”目录,选中该目录下的所有jar
文件(注意,不要选中client-facing-thirdparty
、ruby
、shaded-clients
和zkcli
这四个目录),然后,点击界面底部的“OK
”按钮。
⑤然后,在“JAR Selection
”界面中(如下图所示),点击进入到“client-facing-thirdparty
”目录下。
⑥在“client-facing-thirdparty
”目录下(如下图所示),选中所有jar
文件,再点击界面底部的“OK
”按钮。
然后,再点击界面(如下图所示)底部的“Finish
”按钮。
⑦在界面(如下图所示)左侧的“HBaseExample
”工程名称上单击鼠标右键,在弹出的菜单中选择“New
”,再在弹出的子菜单中选择“Class
”。
在弹出的“New Java Class
”对话框(如下图所示)中,在“Name
”文本框中输入“ExampleForHBase
”,然后,点击界面底部的“Finish
”按钮。
⑧在代码窗口中(如下图所示),ExampleForHBase.java
代码内容输入。
⑨在开始运行程序之前,需要启动HDFS
和HBase
。
然后,如下图所示,点击界面中的运行图标右侧的“倒三角”,在弹出的菜单中选择“Run As
”,再在弹出的菜单中点击“1 Java Application
”,开始运行程序。
⑩这时,可以到HBase Shell
交互式环境中,使用如下命令查看student
表是否创建成功:
再在HBase Shell
交互式环境中,使用如下命令查看student
表中的数据:
(六)
Hbase
和传统的关系型数据库相比,有哪些特点?①数据类型:
Hbase
只有简单的数据类型,只保留字符串;传统数据库有丰富的数据类型。
②数据操作:Hbase
只有简单的插入、查询、删除、清空等操作,表和表之间是分离的,没有复杂的表和表之间的关系;传统数据库通常有各式各样的函数和连接操作。
③存储模式:Hbase
是基于列存储的,每个列族都由几个文件保存,不同列族的文件是分离的,这样的好处是数据即是索引,访问查询涉及的列大量降低系统的I/O
,并且每一列由一个线索来处理,可以实现查询的并发处理;传统数据库是基于表格结构和行存储,其没有建立索引将耗费大量的I/O
并且建立索引和物化试图需要耗费大量的时间和资源。
④数据维护:Hbase
的更新实际上是插入了新的数据;传统数据库只是替换和修改。
⑤可伸缩性:Hbase
可以轻松的增加或减少硬件的数目,并且对错误的兼容性比较高;传统数据库需要增加中间层才能实现这样的功能。
⑥事务:Hbase
只可以实现单行的事务性,意味着行与行之间、表与表之前不必满足事务性;传统数据库是可以实现跨行的事务性。(七)
Hbase
创建的应用程序,需要导入哪些安装包,这些安装包里面有什么功能?①
Hbase
创建的应用程序,需要导入“/usr/local/hbase/lib
”目录和“/usr/local/hbase/lib client-facing-thirdparty
”目录下所有的jar
包。
②安装包的功能:
a.用于发布和使用类库
b.作为应用程序和扩展的构建单元
c.作为组件、applet
或者插件程序的部署单位
d.用于打包与组件相关联的辅助资源
更多推荐
所有评论(0)