1、在做zookeeper集群之前需要有至少三台centos机器或虚拟机

一、Zookeeper原理简介

ZooKeeper是一个开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基

于它实现同步服务，配置维护和命名服务等。

Zookeeper设计目的

最终一致性：client不论连接到那个Server，展示给它的都是同一个视图。

可靠性：具有简单、健壮、良好的性能、如果消息m被到一台服务器接收，那么消息m将被所有

服务器接收。

实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失

效的信息。但由于网络延时等原因，Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果

需要最新数据，应该在读数据之前调用sync()接口。

等待无关（wait­free）：慢的或者失效的client不得干预快速的client的请求，使得每个client都

能有效的等待。

原子性：更新只能成功或者失败，没有中间状态。

顺序性：包括全局有序和偏序两种：全局有序是指如果在一台服务器上消息a在消息b前发布，则

在所有Server上消息a都将在消息b前被发布；偏序是指如果一个消息b在消息a后被同一个发送者发

布，a必将排在b前面。

Zookeeper工作原理

1、在zookeeper的集群中，各个节点共有下面3种角色和4种状态：

角色：leader,follower,observer

状态：leading,following,observing,looking

Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议

（ZooKeeper Atomic Broadcast protocol）。Zab协议有两种模式，它们分别是恢复模式（Recovery选

主）和广播模式（Broadcast同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者

被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了

leader和Server具有相同的系统状态。

为了保证事务的顺序一致性，zookeeper采用了递增的事务id号（zxid）来标识事务。所有的提议

（proposal）都在被提出的时候加上了zxid。实现中zxid是一个64位的数字，它高32位是epoch用来标识

leader关系是否改变，每次一个leader被选出来，它都会有一个新的epoch，标识当前属于那个leader的统

治时期。低32位用于递增计数。

每个Server在工作过程中有4种状态：

LOOKING：当前Server不知道leader是谁，正在搜寻。

LEADING：当前Server即为选举出来的leader。

FOLLOWING：leader已经选举出来，当前Server与之同步。

OBSERVING：observer的行为在大多数情况下与follower完全一致，但是他们不参加选举和投票，而仅仅

接受(observing)选举和投票的结果。

Zookeeper集群节点

Zookeeper节点部署越多，服务的可靠性越高，建议部署奇数个节点，因为zookeeper集群是以

宕机个数过半才会让整个集群宕机的。

需要给每个zookeeper 1G左右的内存，如果可能的话，最好有独立的磁盘，因为独立磁盘可以

确保zookeeper是高性能的。如果你的集群负载很重，不要把zookeeper和RegionServer运行在同

一台机器上面，就像DataNodes和TaskTrackers一样。

 

 

开始

实验环境

服务器 1：192.168.1.23 端口：2181、2881、3881 安装用户：wld01

服务器 2：192.168.1.24 端口：2182、2882、3882 安装用户：wld02

服务器 3：192.168.1.25 端口：2183、2883、3883 安装用户：wld03

二、Zookeeper安装

Zookeeper运行需要java环境，需要安装jdk，注：每台服务器上面都需要安装zookeeper、jdk，建议本

地下载好需要的安装包然后上传到服务器上面，服务器上面下载速度太慢。

2.1、JDK安装

下载安装JDK 安装路径：/usr/local/java

 

设置环境变量

export JAVA_HOME=/usr/local/java/jdk1.7.0_79

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

 

2.2、Zookeeper安装

安装路径：/usr/local/zookeeper

Zookeeper链接：http://zookeeper.apache.org/

wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz -P

/usr/local/src/

tar zxvf zookeeper-3.4.8.tar.gz -C /usr/local/

cd /opt && mv zookeeper-3.4.8 zookeeper

cd zookeeper

cp conf/zoo_sample.cfg conf/zoo.cfg

#把zookeeper加入到环境变量

export ZOOKEEPER_HOME=/usr/local/zookeeper

export PATH=$PATH:$ZOOKEEPER_HOME/bin

 

2.2具体安装步骤（）

1、 修改每台机器的/etc/hosts 文件,添加 IP 与主机名映射:

# vi /etc/hosts

增加：

10.29.216.31 zook01

10.81.139.160 zook02

10.30.222.16 zook03

 

 

4、在各个zookeeper节点目录创建data、logs目录

$ cd /home/dreyer03/zookeeper/wld0x/（X代表节点号1、2、3，以下同解）

$ mkdir data

$ mkdir logs

5、将zookeeper/wld01/conf目录下的zoo_sample.cfg文件拷贝一份，并命名为zoo.cfg：

$ cp zoo_sample.cfg zoo.cfg

6、修改zoo.cfg配置文件

zookeeper/wld01的配置如下：

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/usr/local/zookeeper/wld01/data

dataLogDir=/usr/local/zookeeper/wld01/logs

clientPort=2181

server.1=wld-zk-01:2881:3881

server.2=wld-zk-02:2882:3882

server.3=wld-zk-03:2883:3883

 

zookeeper/wld02的配置如下：

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/usr/local/zookeeper/wld02/data

dataLogDir=/usr/local/zookeeper/wld02/logs

clientPort=2182

server.1=wld-zk-01:2881:3881

server.2=wld-zk-02:2882:3882

server.3=wld-zk-03:2883:3883

 

zookeeper/wld03的配置如下：

tickTime=2000

initLimit=10

syncLimit=5

 

dataDir=/usr/local/zookeeper/wld03/data

dataLogDir=/usr/local/zookeeper/wld03/logs

clientPort=2183

server.1=wld-zk-01:2881:3881

server.2=wld-zk-02:2882:3882

server.3=wld-zk-03:2883:3883

 

参数说明：

tickTime=2000

tickTime 这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每各

tickTime 时间就会发送一个心跳。

initLimit=10

initLimit 这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务

器的客户端,

而是Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长 能忍受多少个心跳时

间间隔数。当已经超过10个心跳的时间(也就是 tickTime)长度后

Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是

102000=20 秒。

syncLimit=5

syncLimit 这个配置项标识 Leader与Follower之间发送消息,请求和应答时间长度,最长不能超过多少个

tickTime 的时间长度,总的时间长度就是 52000=10 秒。

dataDir=/home/dreyer05/zookeeper/node-03/data

dataDir 顾名思义就是 Zookeeper 保存数据的目录,默认情况下 Zookeeper 将写数据的日志文件也保存在这

个目录里。

clientPort=2181

clientPort 这个端口就是客户端(应用程序)连接 Zookeeper服务器的端口,Zookeeper会监听这个端口接受客

户端的访问请求。

server.A=B:C:D

server.1=wld-zk-01:2881:3881

server.2=wldzk-02:2882:3882

server.3=wld-zk-03:2883:3883id

A 是一个数字,表示这个是第几号服务器;

B 是这个服务器的 IP 地址(或者是与 IP 地址做了映射的主机名);

C 第一个端口用来集群成员的信息交换,表示这个服务器与集群中的 Leader 服务器交换信息的端口;

D 是在 leader 挂掉时专门用来进行选举 leader 所用的端口。 注意:如果是伪集群的配置方式,不同的

Zookeeper 实例通信端口号不能一样,所以要给它们分配不 同的端口号。

7、在dataDir=/home/dreyer03/zookeeper/node-0X/data下创建myid文件

编辑myid文件，并在对应的IP机器上输入对应的编号，比如说node-01上，myid文件的内容就是1，node-02

上，myid的内容就是2，node-03上，myid的内容就是3

$ vi /usr/local/zookeeper/wld01/data/myid ##输入值为1

$ vi /usr/local/zookeeper/wld02/data/myid ##输入值为2

$ vi /usr/local/zookeeper/wld03/data/myid ##输入值为3

 

 

9、启动并测试zookeeper（用普通用户启动，不要用root用户）

$ /home/dreyer03/zookeeper/node-01/bin/zkServer.sh start

$ /home/dreyer04/zookeeper/node-02/bin/zkServer.sh start

$ /home/dreyer05/zookeeper/node-03/bin/zkServer.sh start

注意：

zookeeper的启动日志在/bin目录下的zookeeper.out文件

在启动第一个节点后，查看日志信息会看到如下异常：

java.net.ConnectException: Connection refused

at java.net.PlainSocketImpl.socketConnect(Native Method)

at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)

at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)

at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)

at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)

at java.net.Socket.connect(Socket.java:579)

at

org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:368)

at

org.apache.zookeeper.server.quorum.QuorumCnxManager.connectAll(QuorumCnxManager.java:402)

at

org.apache.zookeeper.server.quorum.FastLeaderElection.lookForLeader(FastLeaderElection.java:840)

at org.apache.zookeeper.server.quorum.QuorumPeer.run(QuorumPeer.java:762)

2016-07-30 17:13:16,032 [myid:1] - INFO

[QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:FastLeaderElection@849] - Notification time out: 51200

这是正常的，因为配置文件中配置了此节点是属于集群中的一个节点，zookeeper集群只有在过半的节点是正

常的情况下，此节点才会正常，它是一直在检测集群其他两个节点的启动的情况。

那在我们启动第二个节点之后，我们会看到原先启动的第一个节点不会在报错，因为这时候已经有过半的节

点是正常的了。

10、查看zookeeper的状态

$ /home/dreyer03/zookeeper/node-01/bin/zkServer.sh status

会看到输出信息：

JMX enabled by default

Using config: /home/dreyer03/zookeeper/node-01/bin/../conf/zoo.cfg

Mode: follower

Mode：follower表示此节点为从节点

Mode: leader表示此节点为主节点

11、停止zookeeper进程

$ /home/dreyer04/zookeeper/node-02/bin/zkServer.sh stop

在我们停止主节点之后，我们查看另外另个从节点的状态可以看到，原先的一个从节点会被重新选举为主节

点。

12、设置zookeeper开机启动

编辑node-01、node-02、node-03节点所在服务器的/etc/rc.local文件，分别加入：

su - dreyer03-c '/home/dreyer03/zookeeper/node-01/bin/zkServer.sh start'

su - dreyer04-c '/home/dreyer04/zookeeper/node-02/bin/zkServer.sh start'

su - dreyer05-c '/home/dreyer05/zookeeper/node-03/bin/zkServer.sh start'

 

1、进入到/etc/rc.d/init.d目录下，新建一个zookeeper脚本

 

[root@zookeeper ~]# cd /etc/rc.d/init.d/  

[root@zookeeper init.d]# pwd  

/etc/rc.d/init.d  

[root@zookeeper init.d]# touch zookeeper  

2、给脚本添加执行权限

 

1. [root@zookeeper init.d]# chmod +x zookeeper  

 

#!/bin/bash

#chkconfig:2345 20 90

#description:zookeeper

#processname:zookeeper

export JAVA_HOME=//usr/local/java/jdk1.7.0_79

case $1 in

start) su root /usr/local/zookeeper/bin/zkServer.sh start;;

stop) su root /usr/local/zookeeper/bin/zkServer.sh stop;;

status) su root /usr/local/zookeeper/bin/zkServer.sh status;;

restart) su /usr/local/zookeeper/bin/zkServer.sh restart;;

*) echo "require start|stop|status|restart" ;;

esac

 

3、添加到开机自启

1. chkconfig --add zookeeper