登陆注册
9331

嘉楠科技Canaan开源通用大语言模型Toucan

站长网2023-08-31 08:45:340

近日,嘉楠科技(Canaan)发布了参数量为70亿的通用大语言模型 Toucan-7B 及 INT4量化版本 Toucan-7B-4bit。

Toucan-7B 能够实现文案写作、代码解析、信息抽取等多种自然语言处理任务,并在测试中表现优于 ChatGLM-6B。Toucan-7B-4bit 使用了最新的 INT4量化技术,显存占用量更低,与 Toucan-7B-fp16模型相比,具有较好的推理效果。

据悉,Toucan 是一个基于 Meta LLaMa 架构的开源中文对话语言模型。它具有70亿参数,并结合了模型量化和稀疏技术,可以在端侧进行推理。Toucan-7B 的效果略好于 ChatGLM-6B,而经过4bit 量化后的模型与 ChatGLM-6B 的效果相当。

项目地址:https://github.com/kendryte/Toucan-LLM

0000
评论列表
共(0)条