登陆注册
10401

度小满“轩辕70B”金融大模型开源

站长网2023-09-25 14:43:100

度小满推出全新的金融行业大模型“轩辕70B”,标志着金融大模型迈向新的高度。该模型在通用能力和专业金融领域表现出色,名列各项开源模型评测榜单前列,特别在中文任务评测和金融领域十大类权威考试方面提供专业支持。

“轩辕70B”是一个重要的金融对话大模型项目,旨在提供卓越的自然语言处理能力。该项目构建在Llama2-70B模型的基础上,经过中文增强和大量通用与金融领域的预训练,形成了一系列强大的金融大模型。

项目地址:https://github.com/Duxiaoman-DI/XuanYuan

“轩辕70B”是首个拥有70B参数量级和上下文长度可达8k以上的开源大模型。它在预训练阶段融入了大量的专业金融语料,旨在提高通用能力的同时显著增强金融专业性能。模型训练采用了一系列加速优化策略,具备出色的训练效率。

这一模型已经在开源社区全面开放,包括模型权重和训练语料,为金融行业提供了一个高效的中文基座模型,用户还可以根据需要进行自定义的微调。这一创新将有助于金融领域的自然语言处理和信息抽取等任务,为行业发展带来新的机遇。

核心功能:

1. 中文增强:XuanYuan-70B基于Llama2-70B模型进行了中文增强,通过大量通用与金融领域数据的预训练,扩充了中文词表,大幅提升了金融领域的理解能力。

2. 上下文长度扩展:为满足金融领域的长文本需求,XuanYuan-70B在预训练阶段将上下文长度扩展到了8k和16k,这是首个在70B参数级别上实现如此高上下文长度的开源大模型。

3. 通用能力:该模型在通用能力评测中表现出色,不仅在英文评测数据上表现优秀,还在多种中文评测数据集上表现出众,涵盖了STEM、人文学科、社会科学等领域。

4. 金融领域应用:XuanYuan-70B在金融领域评测中取得显著的提升,这使得它成为处理金融领域文本的理想选择。

5. 对话能力:XuanYuan-70B-Chat模型经过通用和金融指令微调,具备出色的对话生成能力,可以用于生成金融领域的文本摘要以及回答各种问题。

0000
评论列表
共(0)条