mongodb 3.4 集群搭建：分片+副本集

2024-05-27 22:58:06 69

本文内容纲要：

-相关概念

-环境准备

-集群搭建

-1、安装mongodb

-2、configserver配置服务器

-3、配置分片副本集(三台机器)

-4、配置路由服务器mongos

-5、启用分片

-6、测试

-后期运维

-启动关闭

mongodb是最常用的nodql数据库，在数据库排名中已经上升到了前六。这篇文章介绍如何搭建高可用的mongodb（分片+副本）集群。

在搭建集群之前，需要首先了解几个概念：路由，分片、副本集、配置服务器等。

环境准备

系统系统centos6.5
三台服务器：192.168.0.75/84/86
安装包：mongodb-linux-x86_64-3.4.6.tgz

服务器规划

服务器75	服务器84	服务器86
mongos	mongos	mongos
configserver	configserver	configserver
shardserver1主节点	shardserver1副节点	shardserver1仲裁
shardserver2仲裁	shardserver2主节点	shardserver2副节点
shardserver3副节点	shardserver3仲裁	shardserver3主节点

端口分配：

mongos：20000
config：21000
shard1：27001
shard2：27002
shard3：27003

集群搭建

1、安装mongodb

#解压
tar-xzvfmongodb-linux-x86_64-3.4.6.tgz-C/usr/local/
#改名
mvmongodb-linux-x86_64-3.4.6mongodb

分别在每台机器建立conf、mongos、config、shard1、shard2、shard3六个目录，因为mongos不存储数据，只需要建立日志文件目录即可。

mkdir-p/usr/local/mongodb/conf
mkdir-p/usr/local/mongodb/mongos/log
mkdir-p/usr/local/mongodb/config/data
mkdir-p/usr/local/mongodb/config/log
mkdir-p/usr/local/mongodb/shard1/data
mkdir-p/usr/local/mongodb/shard1/log
mkdir-p/usr/local/mongodb/shard2/data
mkdir-p/usr/local/mongodb/shard2/log
mkdir-p/usr/local/mongodb/shard3/data
mkdir-p/usr/local/mongodb/shard3/log

配置环境变量

vim/etc/profile
#内容
exportMONGODB_HOME=/usr/local/mongodb
exportPATH=$MONGODB_HOME/bin:$PATH
#使立即生效
source/etc/profile

2、configserver配置服务器

mongodb3.4以后要求配置服务器也创建副本集，不然集群搭建不成功。

添加配置文件

vi/usr/local/mongodb/conf/config.conf

##配置文件内容
pidfilepath=/usr/local/mongodb/config/log/configsrv.pid
dbpath=/usr/local/mongodb/config/data
logpath=/usr/local/mongodb/config/log/congigsrv.log
logappend=true

bind_ip=0.0.0.0
port=21000
fork=true

#declarethisisaconfigdbofacluster;
configsvr=true

#副本集名称
replSet=configs

#设置最大连接数
maxConns=20000

启动三台服务器的configserver

mongod-f/usr/local/mongodb/conf/config.conf

登录任意一台配置服务器，初始化配置副本集

#连接
mongo--port21000
#config变量
config={
..._id:"configs",
...members:[
...{_id:0,host:"192.168.0.75:21000"},
...{_id:1,host:"192.168.0.84:21000"},
...{_id:2,host:"192.168.0.86:21000"}
...]
...}

#初始化副本集
rs.initiate(config)

其中，"_id":"configs"应与配置文件中配置的replicaction.replSetName一致，"members"中的"host"为三个节点的ip和port

3、配置分片副本集(三台机器)

设置第一个分片副本集

配置文件

vi/usr/local/mongodb/conf/shard1.conf

#配置文件内容
#——————————————–
pidfilepath=/usr/local/mongodb/shard1/log/shard1.pid
dbpath=/usr/local/mongodb/shard1/data
logpath=/usr/local/mongodb/shard1/log/shard1.log
logappend=true

bind_ip=0.0.0.0
port=27001
fork=true

#打开web监控
httpinterface=true
rest=true

#副本集名称
replSet=shard1

#declarethisisasharddbofacluster;
shardsvr=true

#设置最大连接数
maxConns=20000

启动三台服务器的shard1server

mongod-f/usr/local/mongodb/conf/shard1.conf

登陆任意一台服务器，初始化副本集

mongo--port27001
#使用admin数据库
useadmin
#定义副本集配置，第三个节点的"arbiterOnly":true代表其为仲裁节点。
config={
..._id:"shard1",
...members:[
...{_id:0,host:"192.168.0.75:27001"},
...{_id:1,host:"192.168.0.84:27001"},
...{_id:2,host:"192.168.0.86:27001”,arbiterOnly:true}
...]
...}
#初始化副本集配置
rs.initiate(config);

设置第二个分片副本集

配置文件

vi/usr/local/mongodb/conf/shard2.conf

#配置文件内容
#——————————————–
pidfilepath=/usr/local/mongodb/shard2/log/shard2.pid
dbpath=/usr/local/mongodb/shard2/data
logpath=/usr/local/mongodb/shard2/log/shard2.log
logappend=true

bind_ip=0.0.0.0
port=27002
fork=true

#打开web监控
httpinterface=true
rest=true

#副本集名称
replSet=shard2

#declarethisisasharddbofacluster;
shardsvr=true

#设置最大连接数
maxConns=20000

启动三台服务器的shard2server

mongod-f/usr/local/mongodb/conf/shard2.conf

登陆任意一台服务器，初始化副本集

mongo--port27002
#使用admin数据库
useadmin
#定义副本集配置
config={
..._id:"shard2",
...members:[
...{_id:0,host:"192.168.0.75:27002",arbiterOnly:true},
...{_id:1,host:"192.168.0.84:27002"},
...{_id:2,host:"192.168.0.86:27002"}
...]
...}

#初始化副本集配置
rs.initiate(config);

设置第三个分片副本集

配置文件

vi/usr/local/mongodb/conf/shard3.conf

#配置文件内容
#——————————————–
pidfilepath=/usr/local/mongodb/shard3/log/shard3.pid
dbpath=/usr/local/mongodb/shard3/data
logpath=/usr/local/mongodb/shard3/log/shard3.log
logappend=true

bind_ip=0.0.0.0
port=27003
fork=true

#打开web监控
httpinterface=true
rest=true

#副本集名称
replSet=shard3

#declarethisisasharddbofacluster;
shardsvr=true

#设置最大连接数
maxConns=20000

启动三台服务器的shard3server

mongod-f/usr/local/mongodb/conf/shard3.conf

登陆任意一台服务器，初始化副本集

mongo--port27003
#使用admin数据库
useadmin
#定义副本集配置
config={
..._id:"shard3",
...members:[
...{_id:0,host:"192.168.0.75:27003"},
...{_id:1,host:"192.168.0.84:27003",arbiterOnly:true},
...{_id:2,host:"192.168.0.86:27003"}
...]
...}

#初始化副本集配置
rs.initiate(config);

4、配置路由服务器mongos

先启动配置服务器和分片服务器,后启动路由实例启动路由实例:（三台机器）

vi/usr/local/mongodb/conf/mongos.conf

#内容
pidfilepath=/usr/local/mongodb/mongos/log/mongos.pid
logpath=/usr/local/mongodb/mongos/log/mongos.log
logappend=true

bind_ip=0.0.0.0
port=20000
fork=true

#监听的配置服务器,只能有1个或者3个configs为配置服务器的副本集名字
configdb=configs/192.168.0.75:21000,192.168.0.84:21000,192.168.0.86:21000

#设置最大连接数
maxConns=20000

启动三台服务器的mongosserver

mongos-f/usr/local/mongodb/conf/mongos.conf

5、启用分片

目前搭建了mongodb配置服务器、路由服务器，各个分片服务器，不过应用程序连接到mongos路由服务器并不能使用分片机制，还需要在程序里设置分片配置，让分片生效。

登陆任意一台mongos

mongo--port20000
#使用admin数据库
useradmin
#串联路由服务器与分配副本集
sh.addShard("shard1/192.168.0.75:27001,192.168.0.84:27001,192.168.0.86:27001")
sh.addShard("shard2/192.168.0.75:27002,192.168.0.84:27002,192.168.0.86:27002")
sh.addShard("shard3/192.168.0.75:27003,192.168.0.84:27003,192.168.0.86:27003")
#查看集群状态
sh.status()

6、测试

目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了，但我们的目的是希望插入数据，数据能够自动分片。连接在mongos上，准备让指定的数据库、指定的集合分片生效。

#指定testdb分片生效
db.runCommand({enablesharding:"testdb"});
#指定数据库里需要分片的集合和片键
db.runCommand({shardcollection:"testdb.table1",key:{id:1}})

我们设置testdb的table1表需要分片，根据id自动分片到shard1，shard2，shard3上面去。要这样设置是因为不是所有mongodb的数据库和表都需要分片！

测试分片配置结果

mongo127.0.0.1:20000
#使用testdb
usetestdb;
#插入测试数据
for(vari=1;i<=100000;i++)
db.table1.save({id:i,"test1":"testval1"});
#查看分片情况如下，部分无关信息省掉了
db.table1.stats();

{
"sharded":true,
"ns":"testdb.table1",
"count":100000,
"numExtents":13,
"size":5600000,
"storageSize":22372352,
"totalIndexSize":6213760,
"indexSizes":{
"_id_":3335808,
"id_1":2877952
},
"avgObjSize":56,
"nindexes":2,
"nchunks":3,
"shards":{
"shard1":{
"ns":"testdb.table1",
"count":42183,
"size":0,
...
"ok":1
},
"shard2":{
"ns":"testdb.table1",
"count":38937,
"size":2180472,
...
"ok":1
},
"shard3":{
"ns":"testdb.table1",
"count":18880,
"size":3419528,
...
"ok":1
}
},
"ok":1
}

可以看到数据分到3个分片，各自分片数量为：shard1“count”:42183，shard2“count”:38937，shard3“count”:18880。已经成功了！

后期运维

启动关闭

mongodb的启动顺序是，先启动配置服务器，在启动分片，最后启动mongos.

mongod-f/usr/local/mongodb/conf/config.conf
mongod-f/usr/local/mongodb/conf/shard1.conf
mongod-f/usr/local/mongodb/conf/shard2.conf
mongod-f/usr/local/mongodb/conf/shard3.conf
mongod-f/usr/local/mongodb/conf/mongos.conf

关闭时，直接killall杀掉所有进程

killallmongod
killallmongos

参考：

搭建高可用mongodb集群（四）——分片
MongoDB3.4副本集分片集群搭建
Mongodb高可用集群（四）——分片

本文内容总结：相关概念，环境准备，集群搭建，1、安装mongodb，2、configserver配置服务器，3、配置分片副本集(三台机器)，4、配置路由服务器mongos，5、启用分片，6、测试，后期运维，启动关闭，

原文链接：https://www.cnblogs.com/ityouknow/p/7344005.html

mongodb 3.4 集群搭建：分片+副本集

本文内容纲要：

相关概念

环境准备

集群搭建

1、安装mongodb

2、configserver配置服务器

3、配置分片副本集(三台机器)

4、配置路由服务器mongos

5、启用分片

6、测试

后期运维

启动关闭

热门推荐

随机推荐