中科大联合封神榜团队发布中文医疗领域大模型ChiMed-GPT
站长网2023-11-20 16:46:150阅
中科大和 IDEA 研究院封神榜团队合作开发了一款名为 ChiMed-GPT 的中文医疗领域大语言模型(LLM)。该模型基于封神榜团队的 Ziya2-13B 模型构建,拥有130亿个参数,并通过全方位的预训练、监督微调和人类反馈强化学习来满足医疗文本处理的需求。
ChiMed-GPT 的训练过程包括三个阶段:预训练、监督式微调和人类反馈强化学习。在预训练阶段,模型使用了2.14亿字的医学百科文档和教科书文章进行继续训练,以扩展医疗领域的知识。在监督式微调阶段,模型利用问答和医患对话数据来提升在真实医疗环境中理解人类指令的能力。在人类反馈强化学习阶段,模型使用拒绝采样技术进行训练,通过奖励模型训练和拒绝采样微调来进一步提高模型性能。
在医疗信息抽取、问答和对话生成等任务上,ChiMed-GPT 的性能优于其他同规模的开源模型,并且在多个指标上超越了 GPT-3.5。在医疗信息抽取任务中,ChiMed-GPT 的性能优于通用和医学领域的开源模型。在问答任务和对话生成任务中,ChiMed-GPT 在多个评估指标上表现出色,展示了其在实际应用中的广泛适用性。
据悉,ChiMed-GPT 的研发对于提升医疗智能的重要性具有重要意义。该模型不仅能够有效处理医疗文本数据,还能生成适合回答患者咨询的内容。
Github:
https://github.com/synlp/ChiMed-GPT
HuggingFace:
https://huggingface.co/SYNLP/ChiMed-GPT-1.0
0000
评论列表
共(0)条相关推荐
昆仑万维推出AI搜索产品“天工AI搜索” 并开启内测申请
昆仑万维宣布推出国内第一款AI搜索产品——天工AI搜索,并开启内测申请(内测地址:search.tiangong.cn)。这款搜索引擎采用大语言模型技术,能够通过对话式交互理解用户意图,提供精准、个性化的答案。与传统搜索引擎相比,天工AI搜索具备更好的信息提取能力、知识生成能力和意图识别能力。此外,天工AI搜索也即将具备图像、语音等多模态搜索能力,更大程度地释放生产力、提升用户效率。站长网2023-08-23 18:08:4100005月国产游戏版号下发 86款国产网络游戏获批
昨日,国家新闻出版署公布了2023年5月份国产网络游戏审批信息,共有86款游戏获批。据了解,这些游戏中有2款客户端游戏,4款移动兼客户端游戏,1款移动兼客户端兼Switch游戏,其余79款为移动游戏。其中,网易获得了《七日世界》版号,腾讯获得了《王牌战士2》版号,三七互娱获得了《失落之门:序章》版号。站长网2023-05-23 08:22:240000余承东:2025年是汽车行业分水岭 多强大的公司都可能消失
2023年4月17日,在华为举办的智能汽车解决方案发布会上,华为正式推出了一系列智能汽车解决方案,包括华为ADS2.0(AdvancedDrivingSystem,华为高阶智能驾驶系统)、智能座舱、智能车载光、智能汽车数字平台等。站长网2023-04-17 11:04:300000荣耀申请MagicGPT商标
据天眼查App显示,近日,荣耀终端有限公司申请“MagicGPT”商标,国际分类为网站服务、科学仪器,当前商标状态均为申请中。不久前,该公司已申请科学仪器类“MagicAI”商标,当前商标状态也为申请中。今年6月,荣耀CEO赵明表示,消费电子行业的最大影响因素,不是经济周期,而是创新周期。AI和5G等技术开启了新一轮创新周期,为智能手机的发展打开全新的机会大门。站长网2023-09-04 14:44:070000高盛将百度加入买入名单 股价受益于转向结构性生成型人工智能
站长之家(ChinaZ.com)7月18日消息:Fintel报道称,2023年7月17日,高盛重申了对百度公司-ADR(纳斯达克股票代码:BIDU)的评级,并给予买入建议。站长网2023-07-18 17:22:530000