基于深度学习的医学图像处理分析平台

# AI_Medical_System AI_Medical_System(idea分享，大创/基金项目：AI全自动疾病诊断流程的一些构思） #-----------------------------------------------# update on 06/08/2022 by GW.kayak 上大招就使用LSTM-CLIP时序神经网络结构，可尝试引入深度强化学习！（优点：潜力大，大数据下潜力效果优于机器学习；缺点：模型大，硬件要求高，结构复杂，不易驾驭，需要数据量很大，数据小容易过拟合）；原理流程图DEMO如下：  * 基于LSTM-CLIP的多模态自主疾病诊疗方法，包含。包括电子病历信息预处理模块、transformer文本编码器模块、图像编码器模块、图像特征提取网络模块、LSTM循环神经网络模块、以及基于强化学习的交互模块。其中：电子病历信息预处理模块：用于采集病人文本病历以及影像学病历信息并对他们做预处理，使其转换为可以供神经网络输入的相关数据形式。 * 编码器模块：分为图像编码器（Images encoder）与文本编码器（Text encoder）模块，图像编码器将输入图像编码成一个包含语义信息的高维向量，同理文本编码器将病人的病历文本信息进行特征提取并将其编码成包含病历语义信息的高维向量。 * 特征提取网络模块：该模块为额外附加的模块，可以根据实际应用中不同的需求插入到决策网络中。 * LSTM循环神经网络模块：该模块是整个决策网络的主干，也是整个系统中与强化学习环境相交互的agent。模块将前面编码器结构所提取的高维特征做时序建模并做出相应的诊疗动作。 * 基于强化学习的交互模块：该模块基于价值网络的DDQN算法，提供整个系统强化学习环境，模块接收来自病人反馈的评分并根据这些反馈生成相应的奖赏指导智能体agent决策网络做出相应诊疗行为action。 #-----------------------------------------------# update on 05/08/2022 by GW.kayak DEMO：baseline主干网络流程图如下：（优点：模型小，硬件较低，需要数据量不大，数据小效果好，容易出结果；缺点：天花板低，大数据时效果比不少深度学习） .png) #-----------------------------------------------# update on 05/04/2022 by GW.kayak 类DNS域名解析服务的疾病流程分级解析流程（初筛疾病种类进行分科->对应专科的疾病初筛网络（开出检查项目）->临床决策网络->临床后端评价网络） 初筛网络，决策网络，时序网络，强化学习网络 多个多模态Clip网络作分类器进程集成，深度强化学习state reward的现实交互模式从临床中学习（clip Finetune可以见我另一主页） LSTM时序网络联系前后网络结果最后做出