基于LLaMA

文章概要:1.研究人员扩展了开源LLaMA模型的上下文窗口，创建了Giraffe，上下文窗口扩大10倍，达到约32，000个标记。2.Giraffe适合需要处理数十页文本的商业应用，为大上下文语言模型研究提供了重要见解。3.该研究还强调了当前技术的局限性以及定制测试的必要性，当前不足以衡量长上下文表现，需要定制测试。

文章概要:1.ELYZA发布了基于Meta的Llama2的日语LLM「ELYZA-japanese-Llama-2-7b」，参数数量达到70亿，性能媲美GPT3.5。2.该模型经过追加事前学习和独特的事后学习，性能在5级手动评估中获得最高分，尽管还未达到封闭型LLM的水平，但已经与GPT3.5相匹敌。