字节团队提出猞猁 Lynx 模型 多模态 LLMs 开创理解生成新高度

字节团队最近提出了一种名为猞猁（Lynx）的多模态大语言模型(LLMs)。他们通过对二十多种多模态 LLMs 变体进行系统实验和评估，确定了以 prefix-finetuning 为主要结构的 Lynx 模型，并且还提出了一个新的多模态评估基准 Open-VQA。

论文:https://arxiv.org/abs/2307.02469

网站:https://lynx-llm.github.io/

代码:https://github.com/bytedance/lynx-llm

实验结果显示，Lynx 模型在多模态理解准确性和多模态生成能力方面表现出色，超过了现有的开源模型。该模型在 Open-VQA 和 OwlEval 人工测评中取得了最佳效果。

这项研究对于多模态 LLMs 的训练策略提出了一些重要结论，例如训练数据的质量对模型性能至关重要，任务和提示对零样本能力具有影响。总之，猞猁模型为多模态 LLMs 的发展提供了重要的参考和基准，为实现更准确和多样化的多模态理解和生成奠定了基础。