信息流算法在微博机器学习平台(WML)的实践_于翔@新浪微博.pdf
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
信息流算法在微博机器学习平台(WML)的实践 本文介绍了微博机器学习平台(WML)的信息流算法实践,主要涵盖了WML的架构、深度学习平台、在线推理框架等方面的内容。 文章介绍了微博机器学习平台(WML)的背景和架构,包括WeiFlow统一架构、WeiLearn深度学习平台和WeiServing在线推理框架。WML是微博机器学习平台,旨在解决业务场景高度相似性、重复人力投入、成果共享有阻力等问题。 然后,文章深入讲解了WML的深度学习平台,包括复杂模型、简单特征n、数据规模极速扩张、非结构化数据指数增长、特征工程人力成本高、机器学习表征能力上限等问题的解决方案。 WeiLearn深度学习平台使用了TensorFlow和Spark等技术,实现了大规模的模型训练和在线服务。 在在线推理服务框架方面,文章介绍了WML的在线推理服务框架,包括系统架构、性能优化等方面的内容。性能优化方面,文章提出了模型量化、模型剪枝、调整batch size、调整session thread & op thread、tensorRT等基本手段,并介绍了性能优化的四大陷阱。 此外,文章还提出了大规模-roadmap和IO计算通信方面的内容,包括pydoop、多进程grpc版本升级、MPI替换、NCCL2支持多GPU通信等技术。 本文为读者提供了微博机器学习平台(WML)的信息流算法实践经验,涵盖了WML的架构、深度学习平台、在线推理框架等方面的内容,具有重要的参考价值。 知识点: * 微博机器学习平台(WML)的架构和背景 * WeiFlow统一架构和WeiLearn深度学习平台的技术架构 * WML解决业务场景高度相似性、重复人力投入、成果共享有阻力的方法 * 深度学习平台的复杂模型、数据规模极速扩张、非结构化数据指数增长等问题的解决方案 * 在线推理服务框架的系统架构和性能优化方法 * 大规模-roadmap和IO计算通信方面的技术架构 扩展阅读: * 微博机器学习平台(WML)的架构和技术架构 * 深度学习平台的技术架构和优化方法 * 在线推理服务框架的系统架构和性能优化方法 * 大规模-roadmap和IO计算通信方面的技术架构和优化方法
- 粉丝: 48
- 资源: 8282
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助