【小而美的机器学习平台实践】是谭孟泷在DTCC2018大会上的演讲内容,主要讨论了如何在转转公司构建一个高效、灵活的机器学习平台。谭孟泷,作为转转算法部的负责人,具有丰富的行业经验,曾任职于人人车、阿里妈妈和百度等知名企业。
在背景介绍中,我们了解到转转之前按照业务线划分团队,追求短期业务效益,而现在则转向统一的算法部门,旨在支持多条业务线,并注重中长期的算法中台建设。这表明公司正逐步强化算法的通用性和长期影响力。
面对多样化且复杂的算法场景,如广告投放、展现引导、运营活动风控、客服系统以及垂直业务等,算法团队面临的主要挑战包括需求的多样性、复用性的缺乏以及人力有限。为了应对这些挑战,谭孟泷提出通过算法平台化来提高效率,包括加速算法迭代、提高复用水平以及扩充团队和能力中台化。
在算法平台化的尝试中,他强调了几个关键点:
1. 数据层面:统一数据口径,优化流程,加强数据治理,减少沟通成本。
2. 算法流程开发:采用组件化和流程化,简化编程接口,提供常见业务场景的通用解决方案,并实现模型部署的透明化。
3. 机器学习工具链:利用如Hadoop、Spark、TensorFlow等工具,构建SpiritML平台,提供一站式算法开发和部署服务。
4. 算法和工程的结合:通过算子系统实现功能开发,统一机器学习和业务策略的pipeline,进行参数空间抽象和全流程调参。
模型分发和模型服务方面,需要关注特征提取Pipeline、预测Pipeline、模型元数据和模型数据的分发,以及优化预测服务的性能,如特征缓存、模型整合和向量化。
在经验总结部分,谭孟泷分享了在初创团队做算法工程的心得:
1. 算法和工程应同步进行。
2. 算法的不确定性与工程的确定性需要平衡。
3. 工程部分应独立测试。
4. 追求算法流程的极致复用。
5. 工程部分要监督整个流程。
6. 设置checkpoint以监控算法流程。
7. 减小训练数据和预测数据的差距。
8. 照顾工程团队的工作体验。
通过以上分析,我们可以看出构建小而美的机器学习平台涉及到数据管理、算法流程优化、工具选择、团队协作以及工程实践等多个方面,目标是提高算法效率、增强团队协作和确保算法服务的质量。