没有合适的资源?快使用搜索试试~ 我知道了~
基于深度学习的色彩迁移生物医学成像技术.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 44 浏览量
2022-12-15
14:28:05
上传
评论
收藏 1.12MB DOCX 举报
温馨提示
试读
20页
基于深度学习的色彩迁移生物医学成像技术.docx
资源推荐
资源详情
资源评论
0. 引 言
在传统的医学诊断与观察中,医学工作者将不同的“视觉色彩”赋予生物细胞组织样本
从而区分细胞组织结构差异
[1]
。一方面,这些“色彩”由人工方式产生,并且都与某种特征
结构对应,例如,化学染料染色
[2]
、荧光标记染色
[3]
等;另一方面,与自然环境中的色彩相
比,这类医学成像领域的“视觉色彩”往往种类有限,经过多年的发展,产业规范不断迭
代,产生方式基本已经被规范化和统一化,较为典型
[4-9]
。以组织学与病理学中使用最广泛
的苏木精-伊红(H&E)染色法
[10]
为例:细胞核区域反映为蓝紫色外观,细胞基质和细胞质
部分反映为粉红色外观
[11-15]
。这意味着颜色信息与其生物形态学特征密切相关。而荧光标
记染色也具有类似特点。因此,正是因为结构与色彩之间的联系,才使得光学成像与计算
成像的科研工作人员可以通过计算后处理的方式
[16]
降低生物医学成像处理样品的步骤,避
免染色时的操作对最终结果产生影响
[17]
,实现数字组织学图像
[18]
与传统医学金标准(Gold-
Standard)——明场彩色显微成像
[19]
一致的彩色成像效果。
随着近些年人工智能技术的软/硬件的快速发展
[20-24]
,基于人工智能色彩迁移技术的生
物医学成像技术也得到了快速发展
[25]
。深度学习色彩迁移技术
[26]
指通过深度学习的方式,
实现将目标图像色彩风格依照源图像色彩风格进行转换的色彩迁移技术。色彩迁移在生物
医学成像方面有着较高的应用价值,如超声成像
[27-28]
、光声显微成像
[29]
、中远红外成像
[30]
等。文中将首先介绍几种深度学习色彩迁移的技术原理,列举此类技术在生物医学成像领
域中的部分应用,最后展望人工智能色彩迁移在生物医学成像领域未来的发展方向。
1. 深度学习色彩迁移技术
色彩迁移
[31]
指两幅图像之间色彩的转换,通俗来说,就是一幅图像作为颜色的来源,
称为源图像,另一幅图像作为待处理图像,称为目标图像,通过算法使目标图像在保留自
身内容的情况下,拥有前者的色彩信息,即图像色彩风格的转换。
事实上,图像色彩迁移并不是一个新概念,在传统图像处理领域,已经有一些研究者
在色彩迁移上取得了相对较好的效果,但其仍是处于对图像像素值处理的层面上,没有与
图像内容加强联系,视觉上难以做到逼真的效果,如 Reinhard 等人
[32]
提出了一组适用于各
颜色分量的色彩迁移公式;Welsh 等人
[33]
在 Reinhard 等人算法的基础上,利用查找匹配像
素来实现灰度图像的色彩迁移。
而近些年,基于深度学习(Deep Learning, DL)的色彩迁移技术作为一种极具发展潜
力的色彩迁移技术已经成为研究重点之一
[34]
,然而色彩迁移仍被看作图像转换的范畴,其
中心思想其实就是基于输入图像得到想要的输出图像的过程,是图像与图像之间的一种映
射
[35]
,那么如何实现此种映射,就成了研究者们关注的重点,同时,不同的切入点带来研
究者们对此问题不同的理解,以及许多经典的算法和具体应用案例,如图像艺术风格的迁
移
[36]
、灰度图上色
[37]
等。
2015 年,Gatys 等人
[38]
受到卷积神经网络
[39-44]
的启发,首次将其应用于图像风格转换
的问题上,提出了一种基于卷积神经网络(Convolution Neural Network, CNN)的图像风格
迁移算法。该算法利用了卷积神经网络可以有效地提取到图像的内部特征
[45]
,通过网络前
馈传播
[46]
分层处理视觉信息并表达,在网络模型中抽象分离出了图像的内容信息与风格信
息,进一步统计特征,迭代更新原始图像数据,直至风格信息误差收敛。值得一提的是算
法在训练的过程中与常规 CNN 不同,该算法根据损失计算出的是输入图像的损失梯度,
从而更新图像像素值,而不是常规 CNN 的模型参数。如图 1 所示。
图 1 Gatys 等人风格迁移算法
[38]
。(a) 风格与内容重建;(b) 风格迁移实例
Fig. 1 Style transfer algorithm of Gatys et al
[38]
. (a) Style and content reconstruction; (b) Style
transfer example
下载: 全尺寸图片 幻灯片
算法的具体实施方式是把内容图像与风格图像以及白噪声输入至 VGG 网络中,则每
层网络都会得到 NlNl 张 MlMl 大小的特征图,其个数取决于滤波器个数。在内容重建部
分,将每一层中的特征图向量化后保存至一个矩阵 Fl∈RNl×MlFl∈RNl×Ml 中,并希望使生
成图像 x→x→在该层的特征矩阵 plpl 与内容图像在该层特征矩阵 FlFl 相同,从内容损失反
向传播优化噪声图像 x→x→,其内容损失如下:
Lcontent(p→,x→,l)=12∑i,j(Flij−Plij)2Lcontent(p→,x→,l)=12∑i,j(Fijl−Pijl)2
(1)
式中:p→p→为原始图像;FlijFijl 为第 ll 层 jj 位置的第 ii 个滤波器的响应。
在风格重构部分,作者使用了 Gram 矩阵统计图像的风格信息,包含图像的纹理与颜
色特征,其中 GijlGijl 是特征矢量 ii 和 jj 的内积:Gijl=∑kFlikFljkGijl=∑kFiklFjkl,因而对于
风格图像 a→a→与生成图像 x→x→而言,由两者在第 ll 层的 Gram 矩阵 AlAl 和 GlGl 即可
定义该层的风格损失:
El=14N2lM2l∑i,j(Gijl−Aijl)2El=14Nl2Ml2∑i,j(Gijl−Aijl)2
(2)
进而得到总的风格损失:
Lstyle(a→,x→)=∑l=0LωlElLstyle(a→,x→)=∑l=0LωlEl
(3)
式中:ωlωl 是 style 层的权重,取 style 层数的倒数,其他层权重为 0。
对于风格迁移的部分来说,算法要在生成图像的过程中将内容损失与风格损失最小
化,那么不难想到总的损失函数可定义为:
Ltotal(p→,a→,x→)=αLcontent(p→,x→,l)+βLstyle(a→,x→)Ltotal(p→,a→,x→)=αLcontent(p→,x→,l)+βLstyle(a→,x→)
(4)
式中:αα 与 ββ 分别为内容与风格重构的权重因子。
Gatys 等人的工作意义在于,其提示了可以使用卷积神经网络将图像特征抽象出来并
做出处理,而不是手工建立一个数学或者统计模型,因而大大拓展了基于传统风格迁移研
究的实际应用。尽管此算法在图像风格迁移工作中有着较为不错的效果,但显而易见地,
其训练过程中优化的对象是噪声图像,存在大量迭代计算的步骤,因此也是极其耗时的,
而事实上也是如此,该算法无法对单张图像实时迁移,以 GTX2080 Ti 为例,在使用单
GPU 加速的硬件条件下,对于内容复杂度不同的图像,其处理时间约为 12~15 min。
对于 Gatys 等人的风格迁移算法,其最大的缺点是在线迭代时间过长,导致算法难以
得到更为广泛的实际生产应用。而 Johnson 等人
[47]
在 2016 年发表的成果弥补了这一缺点,
其核心思想是规避大量的在线迭代运算,通过使用感知损失函数,直接训练出一个“端到
端”的网络模型,在测试阶段通过将内容图片作为网络的输入得到风格化的结果图片,由于
该算法在生成阶段只需要进行一次前向传播且不需要计算梯度用以更新网络权重或初始化
图片,与基于图片优化的方法相比,在生成效果不变的同时,生成速度大约提升了 1000
倍。然而,这样的预训练网络最初是为物体识别而设计的,因此深层特征往往专注于主要
目标而忽略其他细节,生成的图像通常不令人满意
[48]
。如图 2 所示。
图 2 Johnson 等人的网络结构
[47]
Fig. 2 Network structure of Johnson et al
[47]
剩余19页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3663
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功