根据给定的文件内容，本知识点主要涉及延迟反馈建模、连续训练以及在展示广告领域中数据分布的动态变化等问题，并提出了一种名为DEFER（Ingesting Real Negatives for Delayed Feedback Modeling）的方法来应对这些问题。以下详细说明了相关知识点：
1. 延迟反馈建模的概念及其在展示广告中的应用背景：
在在线广告领域，尤其是在展示广告中，用户的点击（Click）到最终的转换（Conversion，例如购买行为）之间存在一定的延迟。这个延迟可能导致用户行为数据被错误地标记，因为传统的训练流程是基于固定的等待窗口（Attribution Window），只有在预设的时间窗口内发生的转换才会被归因于之前的点击。这种机制导致了所谓的“延迟反馈”问题，即用户的真实反馈并非立即出现，而是存在时间滞后。
2. 连续训练中的延迟反馈问题：
在展示广告中，为了适应数据分布的动态变化，模型需要持续更新。然而，由于转换行为的延迟，传统的连续训练方法会引入所谓的“假阴性”（即错误标记为阴性样本的正样本）。这种假阴性会进一步导致模型学习到有偏的特征分布，并且缺乏标记的确定性。
3. DEFER方法的提出：
为了解决上述问题，文章提出了一种新的延迟反馈建模方法——DEFER方法。该方法的核心思想是将真实负样本（Real Negatives）纳入训练流程，从而解决了上述问题。这种方法通过实时地调整模型，使其能够更准确地捕捉数据的真实分布，并且提升了模型学习的稳定性。
4. 实际部署和线上A/B测试：
文章进一步阐述了DEFER方法在实际工业数据集上的部署实践。通过这种方法，研究者们在多种场景下观察到了显著的改善，特别是在转化率（CVR）上实现了超过6.0%的提升，通过线上A/B测试证实了该方法的有效性。
5. 分布变化和连续训练的挑战：
展示广告的数据分布是不断变化的，这包括特殊事件、新广告的上线、新用户的加入等因素。为了跟上这种分布的变化，模型需要持续地进行更新。但是，由于存在延迟反馈，传统的训练方法难以应对。为此，研究人员提出了重新设计数据管道和损失函数的方法，以期解决这一挑战。
6. 等待窗口和标签分配的挑战：
在连续训练中，训练管道需要等待一段时间窗口之后才会给样本分配标签。这导致了两种问题：一是转换行为的延迟可能导致真实正样本被错误地标记为负样本；二是如果等待时间窗口设置得较短，就会产生假阴性样本。假阴性样本的引入会严重影响模型的学习效果。
总结而言，本文重点讨论了在展示广告领域中，面对数据动态变化和延迟反馈问题时，连续训练中的挑战以及DEFER方法的有效解决策略。通过将真实负样本纳入训练流程，能够提升模型对动态变化数据分布的适应性，减少假阴性，从而提高模型在工业数据集上的表现。同时，文中也强调了在线A/B测试的重要性，这是验证新方法效果的重要环节。通过这些讨论，本文不仅为展示广告的实时模型训练提供了新的视角，也为其他领域中类似的延迟反馈问题提供了解决思路。
