SQL Server高并发和大数据存储方案高并发和大数据存储方案
这里将告诉您Sqlserver 高并发和大数据存储方案，具体实现方法:
随着用户的日益递增，日活和峰值的暴涨，数据库处理性能面临着巨大的挑战。下面分享下对实际10万+峰值的平台的数
据库优化方案。与大家一起讨论，互相学习提高！
案例：游戏平台.
1、解决高并发
当客户端连接数达到峰值的时候，服务端对连接的维护与处理这里暂时不做讨论。当多个写请求到数据库的时候，这时候
需要对多张表进行插入，尤其一些表 达到每天千万+的存储，随着时间的积累，传统的同步写入数据的方式显然不可取，经过
试验，通过异步插入的方式改善了许多，但与此同时，对读取数据的实时性也需要做一定的牺牲。
异步的方式有很多，目前采取的方式是通过作业每隔一段时间（5min、10min..看需求设定）将临时表的数据转到真实
表。
1.已有原始表A 也是在读取的时候真正用到的表。
2.建立与原始表A同结构的B和C，用来作数据的中转处理，同步流程是C->B->A。
3.建立同步数据的作业Job1和记录Job1运行状态的表，在同步的时候比较关键的是需要检查Job1的当前状态，如果当前
正在将B的数据同步到A，则把服务端过来的数据存到C，然后再把数据导入到B，等到下一次Job执行的时候再将这批数据转
到A。如图1：
同时，为保万无一失和便于排查问题，应该用一个记录整个数据库实例的存储过程，在较短的时间检查作业执行结果，如
果遇到异常失败的，应该及时通过其他方式通知到相关人员。如写入到发邮件和短信表，让一个Tcp的通知程序定时读取发送
等等。
注：如果的数据达到几十个G，如果又对这个表有查询要求（分区下面会提到），下策之一：
可将B同时同步到多台服务器分担下查询压力，减少资源的竞争。因为整个数据库的资源是有限的，如插入操作，会先获
得一个共享锁，然后通过聚集索引定位到某一行数据，再升级为意向锁，而sqlserver对锁的维护根据数据的大小需要申请不
同的内存，造成了资源的竞争。所以应该尽可能的将读和写分开，可根据业务模型分，可根据设定的规则分；在平台性的项目
中应该优先保证数据能有效的插入。
在不可避免的查询大数据肯定会耗用大量的资源，如遇到批量删除的时候，可以换成以循环分批次（如一次2000条）的
方式，这样不至于这个进程导致整个库挂掉，衍生出一些无法预计的bug。经实践，有效可行，只是牺牲了存储空间。也可根
据查询需求将表里数据量大的字段拆分出来到新表，当然这些也要根据每个业务场景结合需求来设定，设计出适合而并不需要
华丽的方案即可。
2、解决存储问题
如果每天单表的数据都达到了几十个G，改善存储方案自然迫不及待了。现分享下自有的方案，在暴涨的数据摧残之下，
仍坚守在一线！现举例对自有环境分享拙见：
现有数据表A，单表每天新增数据30G，在存储的时候采用异步将数据同步的方式，有的不能清除数据的表，在分区后还
可分文件组，将文件组分配到不同的磁盘中，减少IO资源的竞争，保障现有资源的正常运行。现结合需求保留历史数据5天：
1.这时需要通过作业job根据分区函数去生成分区方案，如根据userid或者时间字段来分区；
2.将表分区后，查询可以通过对应的索引，快速定位到某一段分区；
3.通过作业合并分区将不要的分区数据转移到相同结构和索引的表，然后清除这个表的数据。
如图2：
评论0