预训练模型的不确定性评估
何塞·梅纳
动机
想象以下情况之一：
您已经训练了一种医学诊断模型，可以根据从医院X射线机获得的图像来及早发现疾病。 您可以使用带标签的数据训练模型，以根据患者的对应图像预测患者是否患有疾病。 现在，一家新医院对您的模型感兴趣，他们要求您开始使用它，但随后您意识到他们使用的是其他X射线机。 您的模型在多大程度上善于使用新图像进行预测？ 您如何相信这些预测？
您会找到提供情感分析分类器的API。 在文档中，您可以了解到该模型是使用Amazon产品的评论进行训练的。 关键是要将其应用于计划用作旅游推荐系统的隐式反馈的餐厅评论。 API将如何在新域中工作？ 恐怖电影可能会令人恐惧，因此受到好评，但我不认为恐怖餐厅会是多么好。
当然，在某些情况下，获取目标域的一些标签数据可以微调原始模型，甚至可以从头开始对其进行训练，但是有时这不是一种选择，因为我们无法访问原始模型
