伪分布式和分布式配置HBase
文章目录版本情况:基础配置Hbase安装HBase配置伪分布式模式配置完全分布式模式配置一、HMaster配置版本情况:HBase版本为hbase-1.1.5Ubuntu 16.04hbase网盘地址链接:https://pan.baidu.com/s/1mx9-ydA8wzWEKoGdPQ2uZA提取码:0830基础配置Hbase安装先将安装包安装到我们的ubuntu下这里安装过lrzsz,直接
版本情况:
HBase版本为hbase-1.1.5
Ubuntu 16.04
hbase网盘地址
链接:https://pan.baidu.com/s/1mx9-ydA8wzWEKoGdPQ2uZA
提取码:0830
基础配置
Hbase安装
先将安装包安装到我们的ubuntu下
这里安装过lrzsz,直接将本地文件拖拽到ubuntu
1.1 解压安装包hbase-1.1.5-bin.tar.gz至路径 /app,命令如下:
tar -zxf hbase-1.1.5-bin.tar.gz -C /app
1.2 将解压的文件名hbase-1.1.5改为hbase,以方便使用,命令如下:
mv /app/hbase-1.1.5 /app/hbase
1.3 配置环境变量
将hbase下的bin目录添加到path中,这样,启动hbase就无需到/app/hbase目录下,大大的方便了hbase的使用。
编辑/etc/profile文件
sudo vim /etc/profile
如果没有引入过PATH请在/etc/profile文件尾行添加如下内容:
export PATH=$PATH:/usr/local/hbase/bin
如果已经引入过PATH请在export PATH这行追加/app/hbase/bin,这里的“:”是分隔符。
编辑完成后,再执行source命令使上述配置在当前终端立即生效,命令如下:
source /etc/profile
1.4 添加HBase权限
cd /app #安装hbase的上一级目录
sudo chown -R root ./hbase
#将hbase下的所有文件的所有者改为root,root是当前用户的用户名。
1.5 查看HBase版本,确定hbase安装成功,命令如下:
/app/hbase/bin/hbase version
没有配置hbase_home的路径 只能在指定路径进行验证
看到以上输出消息表示HBase已经安装成功
HBase配置
HBase有三种运行模式,单机模式、伪分布式模式、分布式模式。作为学习,我们重点讨论单机模式和伪分布式模式。
以下先决条件很重要,比如没有配置JAVA_HOME环境变量,就会报错。
– jdk
– Hadoop( 单机模式不需要,伪分布式模式和分布式模式需要)
– SSH
伪分布式模式配置
1.配置/usr/local/hbase/conf/hbase-env.sh。命令如下:
vi /app/hbase/conf/hbase-env.sh
配置JAVA_HOME,HBASE_CLASSPATH,HBASE_MANAGES_ZK.
HBASE_CLASSPATH设置为本机Hbase安装目录下的conf目录(即/app/hbase/conf)
export JAVA_HOME=/app/jdk1.8.0_321 #自己的jdk路径
export HBASE_CLASSPATH=/app/hbase/conf
export HBASE_MANAGES_ZK=true #使用hbase自带的zookeeper
2.配置/usr/local/hbase/conf/hbase-site.xml
用命令vi打开并编辑hbase-site.xml,命令如下:
vi /app/hbase/conf/hbase-site.xml
修改hbase.rootdir,指定HBase数据在HDFS上的存储路径;将属性hbase.cluter.distributed设置为true。假设当前Hadoop集群运行在伪分布式模式下,在本机上运行,且NameNode运行在9000端口。
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
</configuration>
hbase.rootdir指定HBase的存储目录;hbase.cluster.distributed设置集群处于分布式模式.
3. 接下来测试运行HBase。
第一步:首先登陆ssh,之前设置了无密码登陆,因此这里不需要密码;再切换目录至/usr/local/hadoop;再启动hadoop,如果已经启动hadoop请跳过此步骤。命令如下:
Ssh localhost
cd /usr/local/hadoop
./sbin/start-dfs.sh
输入命令jps,能看到NameNode,DataNode和SecondaryNameNode都已经成功启动,表示hadoop启动成功,截图如下:
赋给用户hbase目录的读写权限
cd /app
chmod –R 777 hbase
第二步:切换目录至/app/hbase;再启动HBase.命令如下:
cd /app/hbase/bin
start-hbase.sh
进入shell界面:
bin/hbase shell
注意:如果在操作HBase的过程中发生错误,可以通过{HBASE_HOME}目录(/app/hbase)下的logs子目录中的日志文件查看错误原因。
这里启动关闭Hadoop和HBase的顺序一定是:
启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop
完全分布式模式配置
集群规划:
HMaster: 192.168.80.140 Master
RegionServer:192.168.80.141 myslave1
RegionServer:192.168.80.142 myslave2
每台主机都预先安装好JDK
一、HMaster配置
1.解压安装包
tar -zxf hbase-1.1.5-bin.tar.gz -C /app
mv /app/hbase-1.1.5 /app/hbase
赋给用户hbase目录的读写权限
cd /app
chmod –R 777 hbase
2.创建zookeeper数据目录
cd /app/hbase
mkdir zookeeper
3.配置环境变量
编辑/etc/profile文件
sudo vim /etc/profile
在/etc/profile文件尾行添加如下内容:
export HBASE_HOME=/app/hbase #hbase的安装路径
export PATH=$PATH:$HBASE_HOME/bin
编辑完成后,再执行source命令使上述配置在当前终端立即生效,命令如下:
source /etc/profile
执行:hbase version,显示版本安装成功
4.配置/app/hbase/conf/hbase-env.sh。命令如下:
vim /app/hbase/conf/hbase-env.sh
配置JAVA_HOME,HBASE_CLASSPATH,HBASE_MANAGES_ZK.
HBASE_CLASSPATH设置为本机Hbase安装目录下的conf目录(即/app/hbase/conf)
export JAVA_HOME=/app/jdk1.8.0_321 #jdk的安装路径
export HBASE_CLASSPATH=/app/hbase/conf
export HBASE_MANAGES_ZK=true
5.配置/usr/local/hbase/conf/hbase-site.xml
用命令vi打开并编辑hbase-site.xml,命令如下:
vim /app/hbase/conf/hbase-site.xml
<configuration>
<!-- Hbase数据保存的hdfs对应目录 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://Master:9000/hbase</value>
</property>
<!-- 是否是分布式环境 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 配置ZK的地址,3个节点都启用zookeeper -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>Master,myslave1,myslave2</value>
</property>
<!-- 冗余度 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 主/从节点允许的最大时间误差 -->
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>
<!-- zookeeper数据目录 -->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/hbase/zookeeper</value>
</property>
</configuration>
6.修改配置文件regionservers
在hbase/conf下
将里面的内容改为:
Master
myslave1
myslave2
7.将主节点的hbase目录复制到从节点
root@Master:/usr/local# scp -r hbase myslave1:/usr/local
root@Master:/usr/local# scp -r hbase myslave2:/usr/local
把hbase拷贝到从节点的 /usr/local
8. 接下来测试运行HBase。
start-dfs.sh
Start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
start-hbase.sh
启动成功,输入命令jps,看到以下界面说明hbase启动成功
主
从
进入shell界面:
hbase shell
WEB页面查看
HBase Master服务器:http://Master节点 IP:16010/
9.停止HBase运行,命令如下:
stop-hbase.sh
更多推荐
所有评论(0)