登陆注册
9340

云知声推出山海大模型2.0版 参数规模达千亿

站长网2023-08-31 09:32:490

云知声宣布推出山海大模型2.0版,参数规模达到千亿,增加了更多的学科类的预训练语料,训练数据(Tokens)达到两万亿(2.0T)。实测性能在 C-Eval 全球大模型综合性评测中超过了 GPT-4,以70分的成绩进入前三甲。

据悉,这次升级使得山海大模型在多学科能力和医疗能力方面得到了提升,为实现 AGI 的进化打下了基础。模型团队利用了教材、文献和百科类语料来丰富模型的知识库,尤其在医疗领域方面取得了突破。

另外,模型的性能也得到了加速提升,通过使用 Neural Tangent Kernel (NTK) 的非线性差值方法,实现了大规模长度扩展,支持了32K 的窗口长度。为了提高解码效率,模型还采用了受限解码方法。

云知声山海大模型官网:shanhai.unisound.com

0000
评论列表
共(0)条