没有合适的资源?快使用搜索试试~ 我知道了~
MongoDB分片介绍
资源推荐
资源详情
资源评论
MongoDB 之 sharding【一】
1、启动相关进程
在 shard server 上启动 mongod,使用--shardsvr 命令行参数。对于主从对,使用--pairwith 命令行选项。
建议一个 shard server 只运行一个 mongod 进程。
在 config server 上启动 mongod,使用--configsvr 命令行参数。如果 config server 不是一台独立的服务器,
为其分配一个独立的 dbpath,--dbpath 命令行参数。
启动 mongos,使用--configdb 参数指明配置的数据库地址。
2、shell 配置分片
在启动好的 mongos 服务器上运行这些命令,然后通过它运行所有的配置命令。注:应该使用特定的
admin 数据库来存储这些命令,尽管通过 mongos 运行时,数据会存储在 config server 上,所以在集群的
生命周期内这些命令只需运行一次即可。
./mongo <mongos-hostname>:<mongos-port>/admin
> db
admin
>
3、增加一个分片,每个分片包括两台服务器(一对主从)或单机(Alpha 2 只支持单机)。
> db.runCommand( { addshard : "<serverhostname>[:<port>]" } );
{"ok" : 1 , "added" : ...}
多台配置用逗号分隔(alpha3 及以上版本)。
可选参数 maxSize 可用户设置该分片可使用的磁盘空间,默认为整个磁盘。该参数目前 1.4 及 1.4 以前的
版本是无效的,1.5 版本及以后才会有效。
> db.runCommand( { listshards : 1 } );
查看已存在的分片。
4、enable 一个数据库,必须为分片 enable 一个数据库,否则数据将全被存在分片上。
> db.runCommand( { enablesharding : "<dbname>" } );
一旦 enable 了个数据库,mongos 将会把数据库里的不同数据集放在不同的分片上。除非数据集被分片,
否则一个数据集的所有数据将放在一个分片上。
5、数据集分片,使用 shardcollection 命令分隔数据集,key 自动生成。
> db.runCommand( { shardcollection : "<namespace>",
key : <shardkeypatternobject>
} )
比如,分片测试数据库中的 GridFS 块集。
> db.runCommand( { shardcollection : "test.fs.chunks", key : { _id : 1 } } )
{"ok" : 1}
配置 shard key 唯一:
db.runCommand( { shardcollection : "test.users" , key : { email : 1 } , unique : true } );
6、相关操作命令,官方操作命令
1)、db.createCollection(name, { size : ..., capped : ..., max : ... } )创建非分布式数据集,相当于关系型数
据库中的表,别看后面一堆参数,其实通常用的就 db.createCollection(name)这个命令,比如
db.createCollection(“coll_1”)。
2)、db.coll_1.drop(),删数据集。
3)、db.coll_1.ensureIndex({"id":1}),第一个参数为字段名,第二参数值为 1 则索引为升序;-1 则为降序。
db.coll_1.dropIndex(name) 删除指定的索引;db.coll_1.dropIndexes()删除所有索引;
db.coll_1.getIndexes()查看索引信息。
4)、db.coll_1.count(query);db.coll_1.find(query );db.coll_1.insert(obj);db.coll_1.update(query,
object[, upsert_bool]);db.coll_1.save(obj);db.coll_1.remove(query)。query 表达式的文档
7、案例:
两组分片(一组两台,一组一台)、三个 config db、一个 mongos,一台测试服务器。
首先建立数据库存放位置,这里只为测试,所以就在当前目录了,mkdir data
分别到 mongodb 的安装目录的 bin/目录下启动 mongodb
$ ./mongod --pairwith 10.13.127.212:18020 --dbpath data --port 18020 //启动第一组分片
(10.13.127.211:18020)
$ ./mongod --pairwith 10.13.127.211:18020 --dbpath data --port 18020 //启动第一组分片
(10.13.127.212:18020)
$ ./mongod --dbpath data --port 18020 //启动第二组分片(10.13.127.210:18020)
$ ./mongod --configsvr --dbpath /var/mongodb/sky/18022 --port 18022 //启动 config
server(10.13.127.210:18022,10.13.127.211:18022,10.13.127.212:18022)
$ ./mongos --configdb 10.13.127.210:18022,10.13.127.211:18022,10.13.127.212:18022 //启动
mongos,指定 config server
ps:config server 可以配置多台,mongos 启动时指定 config server,多个 config server 之间用英文逗号
隔开,中间注意不要有空格,而且你会发现 config server 的台数只能为单数不能是双数。
服务启动好了之后,可使用ps -ef|grep mongo 查看运行情况,开始使用 mongodb 了。
$ ./mongo --host 10.13.127.211 // 连接到 mongos 上,可使用--port 指定端口
> show dbs
admin
config
Local
> use admin
> db.runCommand( { addshard : "10.13.127.211:18020,10.13.127.212:18020", allowLocal : true } ) //增
加第一组分片
> db.runCommand( { addshard : "10.13.127.210:18020", allowLocal : true } ) //增加第二个分片
> db.runCommand({listshards:1}) //查看分片情况,会看到分片的信息,共两块
{
"_id" : ObjectId("4bd27bb39e2b00a5f7d5f0dd"),
"host" : "10.13.127.210:18020"
},
{
"_id" : ObjectId("4bd27bd39e2b00a5f7d5f0de"),
"host" : "10.13.127.211:18020,10.13.127.212:18020"
}
> config = connect("10.13.127.210:18022") //连接 config server,需要在 mongos 服务器上操作
> config = config.getSisterDB("config") //获取配置信息
注:这两步好像没有什么作用,而且也无法连接。
> test = db.getSisterDB("test") //新增数据库 test
> db.runCommand( { enablesharding : "test" } )
> db.runCommand( { shardcollection : "test.people", key : {name : 1} } ) //建立分片数据集 people
> db.printShardingStatus(); //查看分片状态信息,会看到 shards 和 databases 的详细信息,包括刚建
立的 test 的主分片信息和 test.people 的分片信息。
my chunks
{ "name" : "test", "partitioned" : true, "primary" : "10.13.127.211:18020,10.13.127.212:18020",
"sharded" : { "test.people" : { "key" : { "name" : 1 }, "unique" : false } }, "_id" :
ObjectId("4bd2813fbaaa646853a4b33a") }
my chunks
test.people { "name" : { $minKey : 1 } } -->> { "name" : { $maxKey : 1 } } on :
10.13.127.211:18020,10.13.127.212:18020 { "t" : 1272086852000, "i" : 1 }10.13.126.173:18020 { "t" :
1272086192000, "i" : 1 }
> use test //进入 test 数据库
switched to db test
> db.createCollection("user_001") //建立数据集 user_001,该数据集与 people 数据集不一样,它不分
片
{ "ok" : 1 }
> show collections //查看数据集情况
people
system.indexes
user_001
> db.people.insert({name:"sky_people",sex:"male",age:25}); //插入一条记录了
> db.people.find()
{ "_id" : ObjectId("4bbc38a39e8b5e76dcf4c5a3"), "name" : "sky_people", "sex" : "male", "age" : 25 }
> db.user_001.insert({name:"Falcon.C",sex:"male",age:25});
> db.user_001.find(); //查看记录
{ "_id" : ObjectId("4bbc371c9e8b5e76dcf4c5a2"), "name" : "sky", "sex" : "female", "age" : 25 }
>db.people.stats() //查看 people 数据集信息,刚才插入的数据放在10.13.127.210:18020 分片
上
{
"sharded" : true,
"ns" : "test.people",
"count" : 1,
"size" : 72,
"storageSize" : 8192,
"nindexes" : 2,
"nchunks" : 1,
"shards" : {
"10.13.127.211:18020,10.13.127.212:18020" : {
"ns" : "test.people",
"count" : 1,
……
> db.user_001.stats() //查看 user_001 数据集信息
{
"sharded" : false,
"ns" : "test.user_001",
"count" : 1,
"size" : 68,
……
}
当数据量增大到一定程度的时候(貌似是 64M,即一个数据块的大小),数据块 chunks 开始分块,由一
开始的一块变成多块时,数据块 chunks 就会开始迁移到其他分片了。
> db.printShardingStatus(); //查看分片状态信息
{ "name" : "test", "partitioned" : true, "primary" : "10.13.127.211:18020,10.13.127.212:18020",
"sharded" : { "test.people" : { "key" : { "name" : 1 }, "unique" : false } }, "_id" :
ObjectId("4bbc3524314b8edcaebd990f") }
my chunks
test.people { "name" : { $minKey : 1 } } -->> { "name" : 1103 } on :
10.13.127.211:18020,10.13.127.212:18020 { "t" : 1270627397000, "i" : 1 }
test.people { "name" : 1103 } -->> { "name" : 1259408 } on : 10.13.127.211:18020,10.13.127.212:18020
{ "t" : 1270627921000, "i" : 2 }
test.people { "name" : "sky_people" } -->> { "name" : { $maxKey : 1 } } on : 10.13.127.210:18020 { "t" :
1270627404000, "i" : 3 }
test.people { "name" : 20130082 } -->> { "name" : 21392803 } on : 10.13.127.210:18020 { "t" :
1270627924000, "i" : 2 }
....
>db.people.stats()
{
"sharded" : true,
"ns" : "test.people",
"count" : 3384868,
"size" : 5293932968,
"storageSize" : 5942890496,
"nindexes" : 2,
"nchunks" : 33,
"shards" : {
"10.13.127.211:18020,10.13.127.212:18020" : {
"ns" : "test.people",
"count" : 3265179,
"size" : 5106739036,
"storageSize" : 5722345728,
"numExtents" : 32,
剩余29页未读,继续阅读
资源评论
lp190892593
- 粉丝: 0
- 资源: 1
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功