开源中文医疗大模型信息一览表(202308)
模型名称 | 模型基座 | 论文-源码链接 | 开放情况 | 贡献单位 | 初始发布日期 | Github Stars(20230822-20230830统计) |
---|---|---|---|---|---|---|
MING(原MedicalGPT-zh) | bloomz-7B指令微调 | 无公开论文/技术报告源码地址 | 未开放训练数据集 提供模型下载 提供推理验证示例脚本 | 上海交通大学未来媒体网络协同创新中心和上海人工智能实验室智慧医疗中心 | 2023/07 | 392 |
DoctorGLM | ChatGLM-6BLora微调 | 论文及源码 | 提供模型训练的技术细节 公开训练数据集 提供模型权重下载 提供推理验证脚本 建立了开发者微信群 提供了演示地址 | 上海交大 | 2023/06 | 574 |
本草BenTaso(原名HuaTuo华驼) | Lalalma AlpacaBloom活字LoRA微调 | 论文及源码:相关解读 | 给出数据集的构建方法介绍,未公开训练数据集 给出多种基座模型微调后的模型权重 提供推理验证脚本及示例数据集 给出了模型对比评价标准及试验情况 | 哈尔滨工业大学社会计算与信息检索研究中心健康智能组 | 2023年3月创建,5月份更名为本草 | 3.6K |
Med-ChatGLM(与BenTsao同源) | ChatGLM-6B指令微调 | 源码地址 | 与本草类似但公开了训练微调脚本 | 同上 | 2023年3月发布 | 749 |
HuaTuoGPT(华佗GPT) | 百川7BZiya-LaMA-13B-Pretrain-v1SFT微调 | 论文及源码 | 项目开放了训练用的医患数据集,也给出了SFT的示例调整脚本, 以及评估示例脚本。 项目技术报告是基于BLOOM大模型进行的训练,但项目git库中发布的模型权重或者权重Delta却是基于百川和Ziya-Lalama。 项目技术报告对数据集构建、训练及评估都做了相对清楚的描述。 试用地址 | 深圳大数据研究院香港中文大学 | 2023年4月发布持续更新中 | 605 |
MedicalGPT | bloomllama/llama2 chatglm/chatglm2-6Bbaichuan 7B, 13B按照ChatGPT training pipeline训练微调(二次预训练、有监督微调、奖励建模、强化学习训练。) | 无技术报告,但github说明较详细 | 开放程度相对较高的医疗大模型 构建训练数据集及训练过程参数通过Wiki全部开放 整个过程也按照ChatGPT training pipeline创建的,包括训练脚本、推理(inference)验证脚本及交互演示脚本等开放 整体链条完整清楚 建立了微信探讨群,并持续更新 | 个人 | 2023年6月发布持续更新中 | 1.3k |
ChatMed | LlaMA-7bLora微调 | 项目公开了训练数据及训练过程,并没有其它相关的技术报告 | 项目开源了基于LlaMA-7b的ChatMed-Consult模型,以及全部训练代码,也给出了测试代码。 项目将关联的其它项目、数据集等都进行了公开链接 | 华东师范大学计算机科学与技术学院智能知识管理与服务团队 | 2023/5/05 开源ChatMed-Consult模型 | 198 |
ShenNong-TCM-LLM - 神农中医药大模型 | LlaMA-7bLoRA微调 | 与ChatMed类似 该团队联合阿里、复旦大学附属华山医院、东北大学、哈工大及同济大学另外推出了两个大模型评价标准: PromptCBLUE 中文医疗大模型评测标准(首个中文医疗场景的LLM评测基准。 ShenNong-TCM-Evaluation-BenchMark意图建立一个标准化、综合性的中医评测框架 | 与ChatMed同源 | 2023年6月发布 | 57 | |
MedQA-ChatGLM | ChatGLM LoRA、P-Tuning V2、Freeze、RLHF等微调 | 技术报告,源码 | 项目给出了开放数据集、构建方法、微调模型训练方法及推理演示脚本,以及试验环境参数,相对比较全面 项目同时也罗列了当时搜集的开源医疗大模型、基座模型及数据集。 2023年8月底,作者又推出了更为全面开放的CareLlama(2023年8月28日宣告闭源1个月。 但公开测试页面仍支持访问) | 澳门理工大学 | 2023年5月发布 | 232 |
XrayGLM -首个会看胸部X光片的中文多模态医学大模型 | 借助ChatGPT以及公开的数据集,构造了一个X光影像-诊断报告对的医学多模态数据集VisualGLM-6B 微调 | 无技术报告,github库中有关键步骤解释描述。源码 | 与MedQA-ChatGLM同源,而且开放程度类似。 github库中包含了项目重现的全部内容,同时对相关的工作,都给予了致谢说明 项目同时列出了所有相关的项目及数据集URL | 同上 | 2023年5月发布 | 558 |
BianQue扁鹊 - 中文医疗对话大模型 | 扁鹊1.0采用的模型基座:ClueAI/ChatYuan-large-v2扁鹊2.0采用的模型基座:ChatGLM-6B全量参数的指令微调 | 无相关论文发布源码地址:BianQue、BianQue-2、BianQue-1.0 | 项目仅给出了已微调的扁鹊模型及如何使用的代码 对于所使用的BianQueCorpus数据集的构建脚本、如何进行模型微调训练,并没有给出具体的代码,是一种模型应用层面的开放。 该项目是项目团队ProactiveHealthGPT大模型基座的一部分(同见SoulChat) | 华南理工大学未来技术学院广东省数字孪生人重点实验室合作单位包括广东省妇幼保健院、广州市妇女儿童医疗中心和中山大学附属第三医院等。 | 2023年4月发布 | 240 |
SoulChat灵心健康大模型 | ChatGLM-6B 全量参数的指令微调 | 无相关技术报告,虽然作者预期会后续发布项目源码、源码模型、项目同时给出了内测网址 | 项目并没有给出模型训练的全过程、训练所用数据集及脚本,仅给出了微调训练后的模型,以及如何使用模型进行推理测试的脚本。 与BianQue一样, 是项目团队ProactiveHealthGPT大模型基座的一部分 参与了PULSE团队的Elo评测、测评地址2 | 同上 | 2023年4月发布 | 139 |
孙思邈中文医疗大模型(Sunsimiao) | baichuan-7BChatGLM-7B微调(参照LLaMA-Efficient-Tuning:) | 尚无论文发布公开源码见 | 该模型所开源的信息较为有限, github中的模型权重链接甚至存在无效的现象,看起来显得比较仓促。 | 华东理工大学信息科学与工程学院 | 2023年6月发布 | 32 |
Mindchat漫谈中文心理大模型 | baichuan-13BQwen-7BInternLM-7B微调 | 项目尚未发布相关论文。 公开源码部分见,体验地址: MindChat-创空间 | 项目除了公开微调模型权重、简要测试用脚本和心理学多方面(学习、家庭、工作、朋友、安全)的测试样例效果外,其它已公开资料较少,虽然项目提供了在线试用网址。 持续更新中 | 同上 | 2023年6月发布 | 82 |
QiZhenGPT启真医学大模型 | Chinese-LLaMA-Plus-7BCaMA-13BChatGLM-6B指令微调 | 项目尚未发布论文公开源码地址 | 项目以开放微调后模型及验证脚本为主,虽然也设计了对比实验并给出了统计结果,但所涉及的数据集及构建方法等都没具体开放 | 浙江大学、网新数字健康联合研究中心 | 2023年5月 | 424 |
PULSE中文医疗大模型 | bloomz-7b1-mtQLoRa微调 | 无相关论文相关代码及模型:PULSE-7bv5、PULSE。关联开源生态应用:XrayPULSE 、_chatbot、 | 项目在模型调优训练及所用数据集信息比较有限,提供了微调后的模型下载,对于有进一步使用及定制化的需要,项目组持开放态度。 项目在效果评价时,采用了Elo等级分评价方法,与其它通用大模型及中文医疗大模型进行对比实验,并且给出了评价的实现。 项目也开源了相关生态应用XRayPULSE等 | 上海人工智能实验室、上海交通大学-清源研究院、华东理工大学-自然语言处理与大数据挖掘实验室 | 2023年6月 | 313 |
CareLlama关怀羊驼中文医疗大模型 (TBD) | TBD | CareLlama在线体验版:其它待作者再次开放后补充 | 与 MedQA-ChatGLM 为同一个团队开发,值得期待 | 澳门理工大学 | 2023年8月(后又宣布闭源1个月,估计9月份再次开放) | TBD |