单任务学习。在多任务学习（Multi-Task Learning, MTL）中，多个任务被同时解决，它们之间共享归纳偏置（inductive bias），即利用一个模型来学习多个任务的共同特征，从而提升整体性能。然而，不同任务可能存在冲突，需要在它们之间找到一个平衡点，这使得多任务学习本质上成为一个多目标优化问题。
传统的多任务学习方法常常采用一个代理目标（proxy objective），即通过加权线性组合每个任务的损失函数来进行优化。这种方式假定任务之间不存在竞争关系，但在实际中，这种情况并不常见。论文作者 Ozan Sener 和 Vladlen Koltun 提出将多任务学习明确定义为多目标优化问题，旨在寻找帕累托最优解（Pareto optimal solution）。帕累托最优是指在所有可能的解决方案中，没有其他方案可以在不恶化至少一个任务性能的情况下改善至少另一个任务的性能。
为了解决大规模学习问题中的多目标优化，论文提出了一个多目标损失的上界，并证明这个上界可以被高效优化。优化这个上界在合理的假设下能够得到帕累托最优解。这种方法被应用到多种多任务深度学习问题中，包括数字分类、场景理解（联合语义分割、实例分割和深度估计）以及多标签分类。
实验结果表明，该方法相比于最近的多任务学习形式或单独训练每个任务，能生成性能更高的模型。这一发现强化了多任务学习的有效性，即通过共享模型和学习资源，即使在任务之间存在潜在的冲突，也能提高整体的预测准确性和效率。
多任务学习的核心挑战在于如何平衡不同任务之间的权重，避免某个任务主导整个学习过程，导致其他任务的表现下降。通过将多任务学习转化为多目标优化，论文提供了一种新的解决途径，它不仅考虑了任务间的相互作用，还能够处理任务之间的竞争关系，从而更有效地学习和优化模型参数。
总结来说，这篇论文的主要贡献包括：
1. 明确地将多任务学习定义为多目标优化问题，强调了在有冲突的任务之间寻找帕累托最优的重要性。
2. 提出一种多目标损失的上界优化方法，解决了大规模学习问题中的计算效率问题。
3. 实验验证了该方法在各种多任务学习任务上的优越性能，展示了其广泛的应用潜力。
这些研究成果为今后的多任务学习研究提供了新的理论框架和实用工具，有助于推动深度学习在处理复杂多任务问题时的性能提升。
