Cross-Field Transformer for Diabetic Retinopathy

Cross-Field Transformer for Diabetic Retinopathy 深度学习在 diabetic retinopathy (DR) 等糖尿病性视网膜病变的自动分级方面扮演着重要角色。当前，现有的研究主要集中在单个视网膜 fundus 图像上，而忽视了 deux- field fundus 图像的重要性。在临床应用中，眼科医生通常使用两种视网膜摄影（即macula-centric和optic disc-centric），以获取充分的眼部检查信息。然而，基于两种视网膜摄影的自动 DR 分级仍然是一个具有挑战性的任务，因为缺乏公共可用的数据集和有效的融合策略。 本文提出了一个新的基准数据集 DRTiD，包含 3100 张两种视网膜摄影图像，是当前最大的公共 DR 数据集，具有多样化和高质量的图像。然后，我们提出了一个新的 DR 分级方法 Cross-Field Transformer (CrossFiT)，以捕捉两种视网膜摄影之间的对应关系和每种视网膜摄影内部的长距离空间相关性。 在 CrossFiT 中，我们特别定义了对齐的位置嵌入，以保持视网膜图像中的相对一致的位置。此外，我们还执行了掩码交叉视野注意机制，以过滤掉不相关的信息。在实验中，我们在 DRTiD 数据集上进行了评估，结果表明 CrossFiT 方法优于现有的方法，可以更好地捕捉两种视网膜摄影之间的相关性和长距离空间相关性。 本研究的贡献在于： 1. 我们构建了一个新的基准数据集 DRTiD，包含 3100 张两种视网膜摄影图像，是当前最大的公共 DR 数据集。 2. 我们提出了 Cross-Field Transformer (CrossFiT) 方法，以捕捉两种视网膜摄影之间的对应关系和每种视网膜摄影内部的长距离空间相关性。 3. 我们的实验结果表明 CrossFiT 方法优于现有的方法，可以更好地捕捉两种视网膜摄影之间的相关性和长距离空间相关性。 因此，本研究为基于深度学习的自动 DR 分级提供了一个新的解决方案，具有潜力 aplicación 在临床应用中。