陆金所AI SQL审核系统介绍.pdf

陆金所AI SQL审核系统的核心目的是提升SQL审核的效率和质量，以确保核心系统的可用性。在传统的手工SQL审核模式中，需要依赖大量的人力资源，这不仅效率低下，而且容易造成人力资源的瓶颈。陆金所的AI SQL审核系统通过引入人工智能技术，旨在自动化大部分的审核流程，从而提高工作效率，减少对人力资源的依赖，并通过智能分析提升SQL代码的性能。 在项目背景部分，提到了手工SQL审核流程包含代码提交、差异比较、人工审核和上线批准等环节。这整个流程是相当繁琐的，需要开发人员和数据库管理员（DBA）对于每个版本中变动的SQL语句、执行计划的差异以及对性能的影响进行审核。陆金所的审核系统在此基础上增加了新版本与旧版本的对比，以及将审核和分类的过程视为为数据打标签的过程。但这个过程需要大量的开发和DBA人力资源，使得整个系统运行在人力资源的瓶颈之中。 研发过程中，陆金所基于人工SQL审核系统三年来的运行数据，包括每个应用版本的SQL代码改动、执行计划变动、数据字典和统计信息备份、DBA的审核意见以及上线后SQL的运行时效数据，思考是否可以利用这些历史数据和AI算法来模拟DBA对SQL的审核。研发思路在于找到SQL代码、执行计划、统计信息、绑定变量量和执行效率之间的相关性，并基于这些数据来预测执行效率。 研发出的第一个版本实现了对SQL执行效率的预测功能，该版本通过将SQL语句、执行计划、统计信息、绑定变量量作为输入，并使用模型进行分析。模型利用了word embedding（词嵌入）、bagging（自助聚合法）、特征嵌入、VAEs（变分自编码器）、信息压缩以及线性回归等多种技术。在特征嵌入阶段，使用了tf-idf对SQL语句进行转化，并使用素数编码对执行计划进行了转化，而统计信息和绑定变量则直接并入矩阵中。 研发团队还利用了信息压缩和特征提取技术来处理SQL特征所形成的宽而稀疏的矩阵。这里使用了VAEs进行信息压缩以及随机森林技术进行特征裁剪，通过这种粗粒度和细粒度的学习方法来对SQL的执行时长进行预测。 在陆金所AI SQL审核系统上线之后，该系统已经成为了审核平台的第一道环节。AI模型通过审核的SQL直接上线，不再需要人工审核，这大大节省了80%的人工审核工作量。通过AI模型的审核，80%的SQL都符合性能预期，这显著提高了审核的效率并减少了人力资源的消耗。 在未来展望部分，可以预见陆金所将继续深化AI技术在SQL审核系统中的应用，持续优化算法模型，以进一步提升系统的智能化水平。同时，也可能会扩展系统的功能，使之能够处理更加复杂的SQL审核需求，或者将此技术应用到其它类似的数据分析和审核场景中，为企业内部的数据管理提供更多自动化和智能化的解决方案。