搭建之前先了解一下MongoDB分片群集主要有如下三个组件:

Shard:分片服务器,用于存储实际的数据块,实际生产环境中一个shard server 角色可以由几台服务器组成一个  Peplica Set 承担,防止主机单点故障。
Config Server:配置服务器存储了整个分片群集的配置信息,其中包括chunk信息。
Routers:前端路由,客户端由此接入,且让整个群集看上去像单一数据库,前端应用可以透明使用。

在这里插入图片描述

系统环境

Centos7.5、MongoDB4.0.2、关闭防火墙。
在这里插入图片描述

三台机器的配置服务(27018)形成复制集,分片1、2、3也在各机器都部署一个实例,它们之间形成复制集,客户端直接连接3个路由服务与之交互,配置服务和分片服务对客户端是透明的。

服务器的安装及配置(3台服务器执行相同操作)

1、下载解压MongoDB

到MongoDB官网下载:https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.6.tgz

解压到/home/mongodb,设置环境变量:

echo ‘export PATH=$PATH:/home/mongodb/bin’ >> /etc/profile

保存后执行:

source /etc/profile
在这里插入图片描述

2、创建路由、配置、分片等的相关目录与文件

启动配置文件存放的文件夹:mkdir -p /home/mongodb/conf
 配置服务数据存放目录:mkdir -p /home/mongodb/data/config
 分片1服务数据存放目录:mkdir -p /home/mongodb/data/shard1
 分片2服务数据存放目录:mkdir -p /home/mongodb/data/shard2
 分片3服务数据存放目录:mkdir -p /home/mongodb/data/shard3
 配置服务日志存放文件:touch  /home/mongodb/log/config.log
 路由服务日志存放文件:touch  /home/mongodb/log/mongos.log
 分片1服务日志存放文件:touch  /home/mongodb/log/shard1.log
 分片2服务日志存放文件:touch  /home/mongodb/log/shard2.log
 分片3服务日志存放文件:touch  /home/mongodb/log/shard3.log

在这里插入图片描述

配置服务器部署(3台服务器执行相同操作)

1、在/home/mongodb/conf目录创建config.conf:

dbpath=/home/mongodb/data/config
 logpath=/home/mongodb/log/config.log
 port=27018
 logappend=true
 fork=true
 maxConns=5000
 #复制集名称
 replSet=configs
 #置参数为true
 configsvr=true
 #允许任意机器连接
 bind_ip=0.0.0.0

在这里插入图片描述

2、配置复制集

分别启动三台服务器的配置服务:

mongod -f /home/mongodb/conf/config.conf

3:连接mongo,只需在任意一台机器执行即可:

mongo --host 10.211.55.3 --port 27018

切换数据库:

use admin

初始化复制集:

rs.initiate({_id:“configs”,members:[{_id:0,host:“10.211.55.3:27018”},{_id:1,host:“10.211.55.4:27018”}, {_id:2,host:“10.211.55.5:27018”}]})

其中_id:"configs"的configs是上面config.conf配置文件里的复制集名称,把三台服务器的配置服务组成复制集。

查看状态:

rs.status()

等几十秒左右,执行上面的命令查看状态,三台机器的配置服务就已形成复制集,其中1台为PRIMARY,其他2台为SECONDARY。

分片服务部署(3台服务器执行相同操作)

1、在/home/mongodb/conf目录创建shard1.conf、shard2.conf、shard3.conf,内容如下:

dbpath=/home/mongodb/data/shard1 #其他2个分片对应修改为shard2、shard3文件夹
 logpath=/home/mongodb/log/shard1.log #其他2个分片对应修改为shard2.log、shard3.log
 port=27001 #其他2个分片对应修改为27002、27003
 logappend=true
 fork=true
 maxConns=5000
 storageEngine=mmapv1
 shardsvr=true
 replSet=shard1 #其他2个分片对应修改为shard2、shard3
 bind_ip=0.0.0.0

端口分别是27001、27002、27003,分别对应shard1.conf、shard2.conf、shard3.conf。

还有数据存放目录、日志文件这几个地方都需要对应修改。

在3台机器的相同端口形成一个分片的复制集,由于3台机器都需要这3个文件,所以根据这9个配置文件分别启动分片服务:

mongod -f /home/mongodb/conf/shard{1/2/3}.conf

2、将分片配置为复制集

连接mongo,只需在任意一台机器执行即可:

mongo --host 10.211.55.3 --port 27001 //这里以shard1为例,其他两个分片则再需对应连接到27002、27003的端口进行操作即可

切换数据库:

use admin

初始化复制集:

rs.initiate({_id:“shard1”,members:[{_id:0,host:“10.211.55.3:27001”},{_id:1,host:“10.211.55.4:27001”},{_id:2,host:“10.211.55.5:27001”}]})

以上是基于分片1来操作,同理,其他2个分片也要连到各自的端口来执行一遍上述的操作,让3个分片各自形成1主2从的复制集,注意端口及仲裁节点的问题即可,操作完成后3个分片都启动完成,并完成复制集模式。

路由服务部署(3台服务器执行相同操作)

1、在/home/mongodb/conf目录创建mongos.conf,内容如下:

logpath=/home/mongodb/log/mongos.log
 logappend = true
 port = 27017
 fork = true
 configdb = configs/10.211.55.3:27018,10.211.55.4:27018,10.211.55.5:27018
 maxConns=20000
 bind_ip=0.0.0.0

2、启动mongos

分别在三台服务器启动:

mongos -f /home/mongodb/conf/mongos.conf

3、启动分片功能

连接mongo:

mongo --host 10.211.55.3 --port 27017

切换数据库:

use admin

添加分片,只需在一台机器执行即可:

sh.addShard("shard1/10.211.55.3:27001,10.211.55.4:27001,10.211.55.5:27001")
 sh.addShard("shard2/10.211.55.3:27002,10.211.55.4:27002,10.211.55.5:27002")
 sh.addShard("shard3/10.211.55.3:27003,10.211.55.4:27003,10.211.55.5:27003")

查看集群状态:

sh.status()

4、实现分片功能

设置分片chunk大小

use config
 db.setting.save({"_id":"chunksize","value":1}) # 设置块大小为1M是方便实验,不然需要插入海量数据

5、模拟写入数据

use calon
 for(i=1;i<=50000;i++){db.user.insert({"id":i,"name":"jack"+i})} #模拟往calon数据库的user表写入5万数据

7、启用数据库分片

sh.enableSharding(“calon”)

8、创建索引,对表进行分片

db.user.createIndex({"id":1}) # 以"id"作为索引
 sh.shardCollection(calon.user",{"id":1}) # 根据"id"对user表进行分片
 sh.status() # 查看分片情况

到此,MongoDB分布式集群就搭建完毕。

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐