MongoDB中的参数限制与阀值详析

前言 今天搜索spark mongo的资料，意外发现了MongoDB的一些知识，这些都是之前没有接触过的，所以专门记录下。 (๑• . •๑) 下面话不多说了，来一起看看详细的介绍吧 一、BSON文档 BSON文档尺寸：一个document文档最大尺寸为16M；大于16M的文档需要存储在GridFS中。 文档内嵌深度：BSON文档的结构（tree）深度最大为100。 二、Namespaces collection命名空间：.，最大长度为120字节。这也限定了database和collection的名字不能太长。 命名空间的个数：对于MMAPV1引擎，个数最大为大约为240 MongoDB是一种流行的开源文档型数据库，它以JSON-like格式存储数据，称为BSON。本文将深入探讨MongoDB中的一些关键参数限制和阀值，这对于理解MongoDB的运作机制和优化数据库设计至关重要。 让我们来看BSON文档的限制。一个BSON文档的最大尺寸为16MB，如果超过了这个限制，那么文档需要存储在GridFS中，这是一个专门用于存储大型文件的MongoDB组件。此外，BSON文档的结构深度最大为100层，这意味着文档内嵌的子文档或数组不能过于复杂，否则会导致结构过深，无法存储。 在Namespaces方面，MongoDB对collection命名空间的长度设定了限制，最大为120字节。这不仅约束了database和collection的名称长度，还限制了namespace的总数。对于使用MMAPV1存储引擎的MongoDB实例，namespace的个数大约限制为24000个，而wiredTiger引擎则不受此限制。namespace文件的大小默认为16MB，但可以在配置文件中调整，wiredTiger引擎则不受这个限制。 接下来是关于索引(indexes)的规定。索引键(index key)的长度不能超过1024个字节，否则写操作会失败。每个collection最多可创建64个索引，索引名称最长为128个字节。组合索引最多包含31个field。创建索引时可以自定义index名称，以便更好地管理和描述索引。 在处理Capped Collection时，如果指定了文档的最大数量，这个值不能超过2的32次方，若未指定，则无限制。对于数据库大小，MMAPV1引擎每个database的最大数据量为32TB，可通过设置"smallFiles"选项降至8TB。而wiredTiger引擎没有这样的限制。单个mongod实例在64位Linux系统下可管理的最大数据集为64TB。每个Database中的collection个数受限于namespace文件大小和每个collection中的索引数量。 在复制集(Replica Sets)中，最大成员数为50，最多7个具有投票权的成员。默认情况下，oplog的最大大小不会超过50GB，除非明确指定。在分片集群(Sharded Clusters)中，group聚合函数不适用，应使用mapReduce或aggregate方法。覆盖查询(Covered Queries)在分片集群下要求查询条件包含shard key，否则无法利用索引来提高性能。对于已分片的collections，一旦开启分片，它们可以存储无限数据，但初始非分片状态下的collections最大数据量限制为256GB。更新(update)和删除(remove)操作在单个数据上进行时，必须提供shard key或_id字段。 当chunk迁移时，如果一个chunk中的文档数量超过特定阈值，迁移可能会失败。这些参数限制确保了MongoDB在存储和查询大量数据时的稳定性和效率。了解并适当地规划这些限制对于MongoDB的高效管理和性能优化至关重要。