【免费】23.系统架构1资源-CSDN文库

需积分: 0 110 浏览量 2022-08-03 12:23:06 上传评论收藏 660KB PDF 举报

资源详情

资源评论

资源推荐

2022/4/27 15_system

huaxiaozhuan.com/深度学习/chapters/15_system.html 1/9

系统架构

一、Hidden Technical Debt[2015]

1. 随着机器学习 machine learning: ML 社区在实时系统 live systems 方面不断积累多年的经

验，出现了一种广泛而又令人不安的趋势：开发和部署机器学习系统相对快速 fast 且廉价

cheap ，但是随着时间的推移维护机器学习系统既困难 difficult 又昂贵 expensive 。

这种二分法 dichotomy 可以通过技术债 technical debt 的角度来理解。技术债是 Ward

Cunningham 在 1992 年引入的一个比喻，它可以帮助你推断软件工程的快速发展所产生的长期

代价。和财政债务一样，背负技术债通常有合理的战略原因。并非所有的债务都是坏的，但是所有

的债务都需要偿还。

技术债可以通过重构代码、改进单元测试、删除死代码 dead code 、减少依赖、收紧 API 、改

进文档来偿还。偿还的目的不是添加新功能，而是支持未来的改进、减少错误、以及提高可维护

性 maintainability 。推迟此类偿还会导致复合成本 compounding costs 。隐藏的债务

hidden debt 是危险的，因为它会悄无声息地复合 compounds (即利滚利，债务的代价越来越大)

。

在论文《Hidden Technical Debt in Machine Learning Systems》中，作者探讨了在系

统设计中需要考虑的、几种特定于机器学习的风险因素，其中包括：边界侵蚀 boundary

erosion 、纠缠 entanglement 、隐式反馈环、未声明的消费者、数据依赖、配置问题、外部世

界 external world 变化、以及各种系统级的反模式 anti-patterns 。

2. 在论文中，作者认为机器学习系统有一种招致技术债的特殊能力，因为它们具有传统代码的所有维

护问题、以及一组额外的 ML-specific 问题。这种技术债可能难以检测，因为它存在于

system-level 而不是 code-level 。传统的抽象和边界可能会被数据影响机器学习系统行为的

事实所破坏或失效。偿还 code-level 技术债的经典方法不足以在 system-level 解决 ML-

specifc 技术债。

本文不提供新颖的 ML 算法，而是试图提高社区对长期实践中必须考虑的困难的 tradeoffs 的

认知。我们关注 system-level 交互和接口，这是机器学习技术债可能迅速积累的领域。在

system-level ，机器学习模型可能会悄悄腐蚀抽象边界。输入信号的 re-use 或 chaining 可

能会无意中耦合原本不相干的系统。机器学习 packages 可能被视为黑盒子，导致大量的 “胶水

代码” 或校准层 calibration layer 并锁死在某些假设中。外部世界的变化可能会以意想不到

的方式影响系统行为。如果没有精心的设计，即使监控机器学习系统行为可能也很困难。

3. 机器学习为快速构建有用的、复杂的预测系统提供了一个非常强大的工具包 toolkit 。但是，将

这些快速的胜利 quick wins 视为免费是危险的。我们发现在现实世界的机器学习系统中招致大

量的持续维护成本 maintenance costs 是很常见的。

1.1 侵蚀的边界

1. 传统的软件工程实践表明：使用封装和模块化设计的强大抽象边界有助于创建可维护

maintainable 的代码。在这些代码中，很容易进行孤立 isolated 的变更 changes 和改进

improvements 。严格的抽象边界有助于表达来自给定组件 component 关于信息输入和输出的不

变性 invariants 、以及逻辑一致性 logical consistency 。

不幸的是，很难通过规定特定的预期行为来为机器学习系统强制执行严格的抽象边界。事实上，机

器学习系统的行为依赖于外部数据。在这里，我们研究了导致边界侵蚀 erosion of

boundaries 的几种方式，它们可能会显著增加机器学习系统中技术债。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余8页未读，立即下载

评论0

内容反馈

呆呆美要暴富

粉丝: 33
资源: 339

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip