ml-serving-template:通过消息队列独立为大型ml模型提供服务，以便与其他服务进行通信[正在开发中]

ml服务模板 通过消息队列和kv存储独立服务大型ml模型，以与多种服务进行通信。 我认为我们很多人都习惯将训练有素的ML模型与其余逻辑一起放在Web应用程序内部进行推理。 通常，在启动应用程序后，您只需加载一次，然后在API处理程序函数内部运行smth，如预测。 当模型足够小（例如简单的图像分类器/检测器）和/或无需查询大量数据即可执行计算时，您可以继续这样做。 但是，当您尝试提供某些非常大的模型（例如某些经过修改的ResNets或现代的，问题就开始了，这些模型很容易占用1..10 Gb的RAM / vRAM。 或者您需要执行一些繁重的map-reduce操作。 在这种情况下，它可能变得太耗资源，无法与如此复杂的内容一起扩展您的应用程序。 因此，我提出了一个非常简单（显而易见）的解决方案-只是将繁重的模型与其余应用程序逻辑分离，并创建一个单独的推理服务，可以通过RPC从其他应用程序调用该