日期:2014-05-16  浏览次数:20567 次

mongodb分片集群(sharding with replica set)配置

一共有4台机器,各自挂接一个存储,希望实现:
1.尽量节约存储
2.高可用性
3.存储大量数据

配置方案:
1.每一台机器做一个分片的主数据库
2.每一台机器做一个分片的后备数据库
3.每一台机器做一个分片的仲裁服务
4.两个两个一组交叉作对方的后备
5.有三台机器开配置服务
6.有一台机器开路由服务(生产环境可以在每一台Windows App服务器上开路由服务,App服务器集群做负载均衡)

这样的话,任何一台服务器完全离线(或者交叉的两台服务器离线),都能保证整个系统正常运行。不过在服务器和服务器起来之后需要:
1.在升级成为主数据库的那个后备数据库上运行rs.StepDown(100)来让它让出主数据库的位置,因为每一个分片的活动数据库都应该由独立服务器担当,以获得最好的性能
2.配置服务和后备数据库起来之后不需要做任何调整



192.168.129.142

mkdir -p /usr/data/shard1
mkdir -p /usr/data/shard2
mkdir -p /usr/data/shard3
mkdir -p /usr/data/config1
/usr/local/mongodb-linux-x86_64-1.6.4/bin/mongod --fork --shardsvr --port 10001 --dbpath /usr/data/shard1/ --logpath /usr/data/shard1/log.log --replSet shard1 --rest
/usr/local/mongodb-linux-x86_64-1.6.4/bin/mongod --fork --shardsvr --port 10002 --dbpath /usr/data/shard2/ --logpath /usr/data/shard2/log.log --replSet shard2 --rest
/usr/local/mongodb-linux-x86_64-1.6.4/bin/mongod --fork --shardsvr --port 10003 --dbpath /usr/data/shard3/ --logpath /usr/data/shard3/log.log --replSet shard3 --rest
/usr/local/mongodb-linux-x86_64-1.6.4/bin/mongod --fork --configsvr --port 20001 --dbpath /usr/data/config1/ --logpath /usr/data/config1/log.log --rest

ps aux | grep mongodb | grep -v grep
/usr/local/mongodb-linux-x86_64-1.6.4/bin/mongo --port 10001

   config = {_id: 'shard1', members: [
        {_id: 0, host: '192.168.129.142:10001'},
        {_id: 1, host: '192.168.129.172:10001'},
        {_id: 2, host: '192.168.129.173:10001', arbiterOnly: true}
    ]}
    rs.initiate(config)
    rs.status()


192.168.129.172

mkdir -p /usr/data/shard2
mkdir -p /usr/data/shard1
mkdir -p /usr/data/shard4
mkdir -p /usr/data/config2
/usr/local/mongodb-linux-x86_64-1.6.4/bin/mongod --fork --shardsvr --port 10002 --dbpath /usr/data/shard2/ --logpath /usr/data/shard2/log.log --replSet shard2 --rest
/usr/local/mongodb-linux-x86_64-1.6.4/bin/mongod --fork --shardsvr --port 10001 --dbpath /usr/data/shard1/ --logpath /usr/data/shard1/log.log --replSet shard1 --rest
/usr/local/mongodb-linux-x86_64-1.6.4/bin/mongod --fork --shardsvr --port 10004 --dbpath /usr/data/shard4/ --logpath /usr/data/shard4/log.log --replSet shard4 --rest
/usr/local/mongodb-linux-x86_64-1.6.4/bin/mongod --fork --configsvr --port 20002 --dbpath /usr/data/config2/ --logpath /usr/data/config2/log.log --rest

ps aux | grep mongodb | grep -v grep

/usr/local/mongodb-linux-x86_64-1.6.4/bin/mongo --port 10002

  config = {_id: 'shard2', members: [
        {_id: 0, host: '192.168.129.172:10002'},
        {_id: 1, host: '192.168.129.142:10002'},
        {_id: 2, host: '192.168.129.175:10002', arbiterOnly: true}
    ]}
    rs.initiate(config)
    rs.status()


192.168.129.173

mkdir -p /usr/data/shard3
mkdir -p /usr/data/shard4
mkdir -p /usr/data/shard1
mkdir -p /usr/data/config3
/usr/local/mongodb-linux-x86_64-1.6.4/bin/mongod --fork --shardsvr --port 10003 --dbpath /usr/data/shard3/ --logpath /usr/data/shard3/log.log --replSet shard3 --rest
/usr/local/mongodb-linux-x86_64-1.6.4/bin/mongod --fork --shardsvr --port 10004 --dbpath /usr/data/shard4/ --logpath /usr/data/shard4/log.log --replSet shard4 --rest
/usr/local/mongodb-linux-x86_64-1.6.4/bin/mongod --fork --shardsvr --port 10001 --dbpath /usr/data/shard1/ --logpath /usr