登陆注册
11593

智源团队Aquila2-34B双语对话模型推出Int4量化版本

站长网2023-10-24 21:25:100

智源团队最近发布了中英双语基础模型 Aquila2-34B 和中英双语对话模型 AquilaChat2-34B。这两个模型在中英双语主 / 客观综合评测中表现优秀,超过了其他全球开源模型,包括 LLama-70B 等。

同时,Aquila2-34B 在多项推理评测中超越了 LLama2-70B 和 GPT3.5模型,仅次于 GPT4。

为了降低使用大模型的门槛,智源 Aquila 团队将 Int4量化技术和 QLoRA 微调推理技术整合到 AquilaChat2系列模型中,从而显著降低了34B 级别大模型的训练和推理所需的资源。

经过 Int4量化,AquilaChat2-34B 模型能够用7B 量级模型相近的 GPU 资源消耗,提供超过 Llama2-70B 模型的性能。QLoRA 技术将量化技术与 LoRA 微调技术相结合,通过4位量化和 Low Rank Adapters (LoRA) 方法进行微调,从而实现在不损失模型性能的情况下节省内存和提高训练速度。

据悉,Aquila2-34B 系列模型已经在国产芯片上进行了适配,并成功进行了推理。通过使用 Int4量化和 QLoRA 微调技术,用户可以在低资源环境中运行大参数模型。

项目地址:

https://github.com/FlagAI-Open/Aquila2/blob/main/examples/predict_chat_quantize.py

0000
评论列表
共(0)条