matlab分时代码-HeteroscedasticDropoutUncertainty:演示了均等回归与异方差回归与遗漏不确定...

matlab分时代码在最近我在Google上的一次演讲中，有人问我有关从辍学网络（研究）获得的不确定性估计值的特殊行为。 在以下数据集上拟合模型时： 我们观察到以下奇怪的行为： ...该模型无法增加其不确定性以覆盖平面最右侧的点。 对这种行为的解释实际上很简单。 要了解发生了什么，我们需要讨论vs。 同方和异方模型 均方回归假设每个输入点x的观察噪声相同。 另一方面，异方差回归假设观察噪声会随输入x的变化而变化。 异方差模型在观察空间的某些部分可能具有比其他部分更高的噪声水平的情况下很有用。 异方差模型的示例 使用辍学，我们得到了同调模型不确定性。 这可以从模型定义中看出。 在我们的推导中，似然性定义为$ y_i \ sim N（\ mu W （x_i），\ tau -1 I）$，其中$ \ mu W $为网络输出，取决于随机丢弃的权重$ W $。 在这里，我们的模型精度$ \ tau $（与反向观测噪声相同）是一个常数，必须针对数据进行调整。 我们可以轻松地调整模型以获得与数据相关的噪声。 这仅涉及使$ \ tau $成为数据的函数，非常类似于$ \ mu W $是数据的函数。 我们