小而美的机器学习平台实践_谭孟泷@转转.pdf
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
【小而美的机器学习平台实践】是谭孟泷在DTCC2018大会上的演讲内容,主要讨论了如何在转转公司构建一个高效、灵活的机器学习平台。谭孟泷,作为转转算法部的负责人,具有丰富的行业经验,曾任职于人人车、阿里妈妈和百度等知名企业。 在背景介绍中,我们了解到转转之前按照业务线划分团队,追求短期业务效益,而现在则转向统一的算法部门,旨在支持多条业务线,并注重中长期的算法中台建设。这表明公司正逐步强化算法的通用性和长期影响力。 面对多样化且复杂的算法场景,如广告投放、展现引导、运营活动风控、客服系统以及垂直业务等,算法团队面临的主要挑战包括需求的多样性、复用性的缺乏以及人力有限。为了应对这些挑战,谭孟泷提出通过算法平台化来提高效率,包括加速算法迭代、提高复用水平以及扩充团队和能力中台化。 在算法平台化的尝试中,他强调了几个关键点: 1. 数据层面:统一数据口径,优化流程,加强数据治理,减少沟通成本。 2. 算法流程开发:采用组件化和流程化,简化编程接口,提供常见业务场景的通用解决方案,并实现模型部署的透明化。 3. 机器学习工具链:利用如Hadoop、Spark、TensorFlow等工具,构建SpiritML平台,提供一站式算法开发和部署服务。 4. 算法和工程的结合:通过算子系统实现功能开发,统一机器学习和业务策略的pipeline,进行参数空间抽象和全流程调参。 模型分发和模型服务方面,需要关注特征提取Pipeline、预测Pipeline、模型元数据和模型数据的分发,以及优化预测服务的性能,如特征缓存、模型整合和向量化。 在经验总结部分,谭孟泷分享了在初创团队做算法工程的心得: 1. 算法和工程应同步进行。 2. 算法的不确定性与工程的确定性需要平衡。 3. 工程部分应独立测试。 4. 追求算法流程的极致复用。 5. 工程部分要监督整个流程。 6. 设置checkpoint以监控算法流程。 7. 减小训练数据和预测数据的差距。 8. 照顾工程团队的工作体验。 通过以上分析,我们可以看出构建小而美的机器学习平台涉及到数据管理、算法流程优化、工具选择、团队协作以及工程实践等多个方面,目标是提高算法效率、增强团队协作和确保算法服务的质量。
- 粉丝: 48
- 资源: 8282
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助