迁移学习1

迁移学习是一种机器学习方法，其核心思想是利用在一个任务中学习到的知识来改善在另一个相关任务上的表现。在医学影像分析领域，特别是超声视频数据的处理中，迁移学习扮演着重要的角色。本文以胆管细胞癌（ICC）和肝细胞癌（HCC）的超声视频数据为例，探讨了如何有效地应用迁移学习来提高诊断的准确性和效率。 研究中，研究人员收集了1999年至2019年间中山大学第一附属医院190例胆管细胞癌患者的CEUS（对比增强超声）视频，按1:1的比例匹配了肝细胞癌病例，总共380例。这些数据经过严格的入组标准筛选，确保病例的病理确诊，并排除了肝外转移和血管侵犯的病例。研究采用三折交叉验证的方式，将肿瘤类型随机分组，以评估模型的稳定性和泛化能力。 在数据预处理阶段，视频被转化为".bmp"格式的图像序列，只读取必要的图片并合并为clip，减少内存占用和加快读取速度。每个视频的8个关键时间点的肿瘤靶区被挑选出来，包括不同增强阶段的图像。为了实现病灶与背景的分离，研究人员通过最小边界框覆盖所有区域并扩展20像素来获取统一的截取区域。 在模型选择和比较方面，研究涉及了多种类型的网络结构，包括2D CNN、2D CNN+BERT、C3D、I3D、SlowFast、R(2+1)D、TSM和GSM。实验结果显示： 1. GSM模型在性能上表现最优。 2. 2D CNN在某些情况下可以优于时空网络。 3. BERT结构相对于2D CNN有更好表现，尤其是BERT resnet50和BERT bninception。 4. Slow通道的迁移效果不佳，不适合CEUS应用。 5. TSM网络的迁移性能较差，可能因其Shift模块在CEUS上无法有效迁移。 6. I3D的表现中规中矩。 7. C3D在大量数据下性能提升显著，达到0.9的正确率和0.867的ICC敏感性，是实验中最佳的模型。 8. R(2+1)D resnet34相比于resnet34+BERT有更明显的性能提升，resnet50优于resnet34，暗示更深的resnet网络可能会进一步提升性能。 9. 增加网络中视频采样的图像数量通常能提升分类性能。 10. 均匀采样在迁移学习中的效果优于原模型的密集采样，因为它包含了完整的造影过程，有助于模型理解整个动态过程。 这些发现强调了迁移学习在解决医疗影像分析中数据稀缺问题的重要性。通过适当的选择和调整预训练模型，可以提高对特定任务（如区分ICC和HCC）的诊断准确性。此外，模型的优化和采样策略也是关键因素，它们直接影响到模型在CEUS视频数据上的表现。未来的研究可以进一步探索更深的网络结构，以及如何更好地适应CEUS视频的特有动态特性，以提升模型的性能和临床实用性。