python毕业设计-基于大语言模型的心血管OCT智能诊断系统源码+使用说明（高分项目）.zip

# DISC-MedLLM <div align="center"> [](https://huggingface.co/Flmc/DISC-MedLLM) [](https://github.com/FudanDISC/DICS-MedLLM/blob/main/LICENSE) <br> </div> <div align="center"> [Demo](http://med.fudan-disc.com) | [技术报告](https://arxiv.org/abs/2308.14346) <br> 中文 | [EN](https://github.com/FudanDISC/DISC-MedLLM/blob/main/README_EN.md) </div> DISC-MedLLM 是一个专门针对医疗健康对话式场景而设计的医疗领域大模型，由[复旦大学数据智能与社会计算实验室 (Fudan-DISC)](http://fudan-disc.com) 开发并开源。 该项目包含下列开源资源: * [DISC-Med-SFT 数据集](https://huggingface.co/datasets/Flmc/DISC-Med-SFT) (不包括行为偏好训练数据) * DISC-MedLLM 的[模型权重](https://huggingface.co/Flmc/DISC-MedLLM) 您可以通过访问这个[链接](http://med.fudan-disc.com)来试用我们的模型。 ## 概述 DISC-MedLLM 是一个专为医疗健康对话场景而打造的领域大模型，它可以满足您的各种医疗保健需求，包括疾病问诊和治疗方案咨询等，为您提供高质量的健康支持服务。 DISC-MedLLM 有效地对齐了医疗场景下的人类偏好，弥合了通用语言模型输出与真实世界医疗对话之间的差距，这一点在实验结果中有所体现。 得益于我们以目标为导向的策略，以及基于真实医患对话数据和知识图谱，引入LLM in the loop 和 Human in the loop的多元数据构造机制，DISC-MedLLM 有以下几个特点： * **可靠丰富的专业知识**，我们以医学知识图谱作为信息源，通过采样三元组，并使用通用大模型的语言能力进行对话样本的构造。 * **多轮对话的问询能力**，我们以真实咨询对话纪录作为信息源，使用大模型进行对话重建，构建过程中要求模型完全对齐对话中的医学信息。 * **对齐人类偏好的回复**，病人希望在咨询的过程中获得更丰富的支撑信息和背景知识，但人类医生的回答往往简练；我们通过人工筛选，构建符合人类偏好的高质量的小规模行为微调样本，对齐病人的需求。 <img src="https://github.com/FudanDISC/DISC-MedLLM/blob/main/images/data_construction.png" alt="data-construction" width="85%"/> ## 模型效果演示 ### 疾病问诊 <img src="https://github.com/FudanDISC/DISC-MedLLM/blob/main/images/consultation.gif" alt="sample1" width="60%"/> ### 治疗方案咨询 <img src="https://github.com/FudanDISC/DISC-MedLLM/blob/main/images/advice.gif" alt="sample2" width="60%"/> ## 数据集 为了训练 DISC-MedLLM ，我们构建了一个高质量的数据集，命名为 DISC-Med-SFT，其中包含了超过47万个衍生于现有的医疗数据集重新构建得到的样本。我们采用了目标导向的策略，通过对于精心选择的几个数据源进行重构来得到SFT数据集。这些数据的作用在于帮助模型学习医疗领域知识，将行为模式与人类偏好对齐，并对齐真实世界在线医疗对话的分布情况。 <!-- <style type="text/css"> .tg {border-collapse:collapse;border-spacing:0;} .tg td{border-color:black;border-style:solid;border-width:1px;font-family:Arial, sans-serif;font-size:14px; overflow:hidden;padding:10px 5px;word-break:normal;} .tg th{border-color:black;border-style:solid;border-width:1px;font-family:Arial, sans-serif;font-size:14px; font-weight:normal;overflow:hidden;padding:10px 5px;word-break:normal;} .tg .tg-9wq8{border-color:inherit;text-align:center;vertical-align:middle} .tg .tg-c3ow{border-color:inherit;text-align:center;vertical-align:top} </style> --> <table class="tg" style="undefined;table-layout: fixed; width: 442px"> <colgroup> <col style="width: 204.428571px"> <col style="width: 135.428571px"> <col style="width: 102.428571px"> </colgroup> <thead> <tr> <th class="tg-9wq8" rowspan="2"><br>数据集</th> <th class="tg-9wq8" rowspan="2"><br>数据来源</th> <th class="tg-9wq8" rowspan="2"><br>样本量</th> </tr> <tr> </tr> </thead> <tbody> <tr> <td class="tg-9wq8" rowspan="2">重构AI医患对话</td> <td class="tg-9wq8">MedDialog</td> <td class="tg-9wq8">400k</td> </tr> <tr> <td class="tg-9wq8">cMedQA2</td> <td class="tg-c3ow">20k</td> </tr> <tr> <td class="tg-c3ow">知识图谱问答对</td> <td class="tg-9wq8">CMeKG</td> <td class="tg-9wq8">50k</td> </tr> <tr> <td class="tg-c3ow">行为偏好数据集</td> <td class="tg-9wq8">人为筛选</td> <td class="tg-9wq8">2k</td> </tr> <tr> <td class="tg-9wq8" rowspan="3">其他</td> <td class="tg-c3ow">MedMCQA</td> <td class="tg-c3ow">8k</td> </tr> <tr> <td class="tg-c3ow">MOSS-SFT</td> <td class="tg-c3ow">33k</td> </tr> <tr> <td class="tg-c3ow">Alpaca-GPT4-zh</td> <td class="tg-c3ow">1k</td> </tr> </tbody> </table> <br> ### 下载 我们总共发布了近47万条训练数据，其中包括重构AI医患对话和知识图谱问答对。您可以访问这个[链接](https://huggingface.co/datasets/Flmc/DISC-Med-SFT)下载数据集。 <br> ## 部署 当前版本的 DISC-MedLLM 是基于[Baichuan-13B-Base](https://github.com/baichuan-inc/Baichuan-13B)训练得到的。您可以直接从 [Hugging Face](https://huggingface.co/Flmc/DISC-MedLLM) 上下载我们的模型权重，或者根据下列代码样例中的方式自动获取。 首先，您需要安装项目的依赖环境。 ```shell pip install -r requirements.txt ``` ### 利用Hugging Face的transformers模块来进行推理 ```python >>> import torch >>> from transformers import AutoModelForCausalLM, AutoTokenizer >>> from transformers.generation.utils import GenerationConfig >>> tokenizer = AutoTokenizer.from_pretrained("Flmc/DISC-MedLLM", use_fast=False, trust_remote_code=True) >>> model = AutoModelForCausalLM.from_pretrained("Flmc/DISC-MedLLM", device_map="auto", torch_dtype=torch.float16, trust_remote_code=True) >>> model.generation_config = GenerationConfig.from_pretrained("Flmc/DISC-MedLLM") >>> messages = [] >>> messages.append({"role": "user", "content": "我感觉自己颈椎非常不舒服，每天睡醒都会头痛"}) >>> response = model.chat(tokenizer, messages) >>> print(response) ``` ### 运行命令行Demo ```shell python cli_demo.py ``` ### 运行网页版Demo ```shell streamlit run web_demo.py --server.port 8888 ``` 此外，由于目前版本的 DISC-MedLLM 是以 Baichuan-13B 作为基座的，您可以参考 [Baichuan-13B 项目](https://github.com/baichuan-inc/Baichuan-13B)的介绍来进行 int8 或 int4 量化推理部署。然而需要注意的是，使用模型量化可能会导致性能的下降。 <br> ## 对模型进行微调 您可以使用与我们的数据集结构相同的数据对我们的模型进行微调。我们的训练代码在 [Firefly](https://github.com/yangjianxin1/Firefly) 的基础上进行了修改，使用了不同的数据结构和对话格式。这里我们只提供全参数微调的代码： ```shell deepspeed --num_gpus={num_gpus} ./train/train.py --train_args_file ./train/train_args/sft.json ``` > 请您在开始进行模型训练前检查 `sft.json` 中的设置。 <br>如果您想使用其他训练代码来微调我们的模型，请使用如下对话格式。 ```shell <\b><$user_token>content<$assistant_token>content<\s><$user_token>content ... ``` 我们使用的 `user_token` 和 `assistant_token` 分别为 `195` and `196`，这和 Baichuan-13B-Chat 是相同的。 ## 模型评测 <!-- We compare our model with three general-purpose LLMs and two conversational Chinese medical domain LLMs. Specifically, these are GPT-3.5 and GPT-4 from OpenAI, the aligned conversational version of our backbone model Baichuan-13B-Base, Baichuan-13B-Chat, and the open-source Chinese conversational medical mode