ChatMed: 中文医疗大模型，善于在线回答患者/用户的日常医疗相关问题！

[**中文**](./README.md) | [**English**](./README_EN.md) <p align="center"> <br> <img src="https://github.com/michael-wzhu/ChatMed/blob/main/pics/ChatMed.png" width="355"/> <br> </p> <p align="center"> <img alt="GitHub" src="https://img.shields.io/github/license/ymcui/Chinese-LLaMA-Alpaca.svg?color=blue&style=flat-square"> <img alt="GitHub top language" src="https://img.shields.io/github/languages/top/ymcui/Chinese-LLaMA-Alpaca"> </p> 以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。 为推动LLM在中文医疗领域的发展和落地，提升LLM的医疗知识与回答医学咨询的能力，我们现推出**ChatMed**系列中文医疗大规模语言模型: - 🚀 [ChatMed-Consult](https://github.com/michael-wzhu/ChatMed) : 基于[中文医疗在线问诊数据集ChatMed_Consult_Dataset](https://huggingface.co/datasets/michaelwzhu/ChatMed_Consult_Dataset)的50w+在线问诊+ChatGPT回复作为训练集。模型主干为[LlaMA-7b](https://github.com/facebookresearch/llama),融合了[Chinese-LlaMA-Alpaca](https://github.com/ymcui/Chinese-LLaMA-Alpaca)的LoRA权重与中文扩展词表，然后再进行基于LoRA的参数高效微调。我们将全部数据和代码都进行了公开。我们也将部署一个在线Gradio demo, 敬请关注。 - 🚀 [ShenNong-TCM-LLM](https://github.com/michael-wzhu/ShenNong-TCM-LLM) : 大模型赋能中医药传承。这一模型的训练数据为[中医药指令数据集ChatMed_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)。以我们开源的[中医药知识图谱](https://github.com/ywjawmw/TCM_KG)为基础，采用以实体为中心的自指令方法(entity-centric self-instruct)，调用ChatGPT得到11w+的围绕中医药的指令数据。ShenNong-TCM-LLM模型也是以LlaMA为底座，采用LoRA微调得到。 ---- [Text2DT](https://github.com/michael-wzhu/Text2DT_Baseline) | [中文医疗大模型评测基准PromptCBLUE](https://github.com/michael-wzhu/PromptCBLUE) | [中文医疗在线问诊数据集ChatMed_Consult_Dataset](https://huggingface.co/datasets/michaelwzhu/ChatMed_Consult_Dataset) | [中医药指令数据集ChatMed_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ChatMed_Consult_Dataset) | [中医药知识图谱](https://github.com/ywjawmw/TCM_KG) ## 更新 2023/5/05 开源[ChatMed-Consult](https://huggingface.co/michaelwzhu/ChatMed-Consult)模型; ## ChatMed-Consult模型介绍 ### 模型介绍 - 训练数据：[中文医疗在线问诊数据集ChatMed_Consult_Dataset](https://huggingface.co/datasets/michaelwzhu/ChatMed_Consult_Dataset)的50w+在线问诊+ChatGPT回复作为训练集。我们发现，在线爬取的问诊数据，虽然可以反映真实世界的用户/患者的问诊需求，但是一般网上的回答良莠不齐。所以我们调用ChatGPT (`gpt-3.5-turbo`)得到问诊的回复。 (⏳ todo: 实现一个评估模型，给人工回复进行评分。调用大模型的token毕竟烧钱) - 模型基座：目前我们开源了基于LlaMA-7b的[ChatMed-Consult](https://huggingface.co/michaelwzhu/ChatMed-Consult)模型。后续我们将会尝试不同的模型底座，比如LlaMA-13b，MOSS等。 - 代码：模型训练所需要的全部代码见[ChatMed-Consult 训练代码](https://github.com/michael-wzhu/ChatMed/blob/main/src/chatmed_llama_peft)。训练中我们借助DeepSpeed(ZeRO stage 3)实现分布式训练。 - 模型权重下载：由于我们目前采用模型是基于Llama-7b进行参数高效微调，所以我们只上传了参数高效微调模块的权重，见[ChatMed-Consult模型权重](https://huggingface.co/michaelwzhu/ChatMed-Consult)。 ### 快速上手 在使用[ChatMed-Consult](https://huggingface.co/michaelwzhu/ChatMed-Consult)之前，大家需要准备好LlaMA-7b底座模型，详细操作见[LlaMA-7b模型准备](https://github.com/michael-wzhu/ChatMed/blob/main/src/chatmed_llama_peft/LlaMA-7b%E6%A8%A1%E5%9E%8B%E5%87%86%E5%A4%87.md)。 LlaMA-7b底座模型准备好后，下载[ChatMed-Consult的LoRA权重](https://huggingface.co/michaelwzhu/ChatMed-Consult)，在3090显卡(或者更强的显卡) 运行以下命令，启动一个简单的基于flask的web service: ```bash python src/web_services/web_service_simple.py ``` 然后运行 ```bash python src/web_services/web_service_test.py ``` 上面的脚本主要是运行了test_examples.json文件中提供了测试用例。在使用自己的测试用例时，请注意保持格式一致。 ### 训练 首先，大家需要准备好LlaMA-7b底座模型，保存于`resources/chinese-llama-alpaca-plus-lora-7b`路径。数据集采用[中文医疗在线医疗咨询数据集ChatMed_Consult_Dataset](https://huggingface.co/datasets/michaelwzhu/ChatMed_Consult_Dataset)。我们采用deepspeed实现分布式训练： ```bash ./src/chatmed_llama_peft/run_train.sh ``` 训练脚本中使用的是4张显卡，大家根据自己的服务器情况调整超参数。 ## 效果对比 我们对比了经过权重转化与合并的[中文LlaMA-7b](https://github.com/michael-wzhu/ChatMed/blob/main/src/chatmed_llama_peft/LlaMA-7b%E6%A8%A1%E5%9E%8B%E5%87%86%E5%A4%87.md)，以及经过了[ChatMed_Consult_Dataset](https://huggingface.co/datasets/michaelwzhu/ChatMed_Consult_Dataset) 和LoRA微调的[ChatMed-Consult](https://huggingface.co/michaelwzhu/ChatMed-Consult)模型。下面是五个典型例子的对比。更多测试样例见[More test examples](https://github.com/michael-wzhu/ChatMed/blob/main/src/web_services/test_examples/ChatMed-Consult_test.json) | 问诊问题 | 中文LlaMA-7b | ChatMed-Consult | |------|------------|-----------------| | 天气温度越来越高，对于有宝宝的家庭来说，室内空调开到几度合适，以前我都是开二十七，那医生说开错了。 | "A. 二十七摄氏度；B. 三十二八摄氏度；C.三十六二十四摄氏度；D.四十一九摄氏度；E. 四十一九摄氏度。" | "在夏天的时候，为了保持良好的健康和舒适的环境，建议您将房间内的空气调节器调至26-28摄氏度左右即可。如果您想让婴儿更加舒服地睡觉，可以把室温降低1-2个台阶（比如从27升至22），这样可以让孩子更容易入睡并提高睡眠质量。同时，也要注意定期清洁空调过滤网以及避免过度使用空调等措施以保证室内通风良好、干燥清新。" | | 这两天关节痛，昨天贴了膏药好一点。昨晚吹了一下风扇，今天早上起床都起不了，走不了路。 | "可能是风湿性关节炎引起的疼痛和僵硬症状。建议您去医院做进一步检查以确定诊断并制定治疗方案。" | 您的症状可能是风湿性疾病引起的疼痛和僵硬感。建议您尽快就医并接受专业的诊断治疗。在等待看医生的过程中，可以尝试以下措施缓解痛苦：保持休息、避免过度活动或剧烈运动；使用热敷或者冷敷来减轻肿胀和疼痛；按摩局部肌肉以促进血液循环等。同时请注意保暖，穿暖和的衣服，以免加重病情。" | | 癫痫病25年了，这些年病情一直都比较稳定，发作次数也很少，现在开始频繁发作了该怎么办？有没有什么针对的办法可以解决啊？ | 建议您及时就医并进行检查。如果确诊为癫痫持续状态（EPS）或阵发性间歇期发作等需要药物治疗的情况，可以考虑使用抗惊厥药、镇静催眠剂和神经营养素类药物来控制症状；同时注意饮食卫生及生活习惯的调整也是很重要的。 | "如果您的癫痫症状越来越多、更频繁或更加严重，建议您尽快就医。以下是一些可能有助于缓解您的情况的方法和注意事项:\n\n1.保持规律的生活方式，包括