Long

元象发布了全球首个上下文窗口长度为256K的开源大模型XVERSE-Long-256K，支持输入25万汉字，无条件免费商用。该模型填补了开源生态空白，与元象之前的大模型组成了高性能全家桶。XVERSE-Long-256K在评测中表现出色，超越了其他长文本模型。通过算法与工程的极致优化，实现了长序列的注意力机制，使窗口长度与模型性能同步提升。

本文概要:Meta悄然发布Llama2LongAI模型，该模型在某些任务上击败了GPT-3.5Turbo和Claude2。Llama2Long是基于Meta的开源Llama2模型，经过改进后能够更好地处理长文本和复杂任务。Llama2Long的改进主要包括:增加了长文本数据集、修改了位置编码、使用了强化学习。

要点:1.Meta发布了Llama2LongAI模型，通过改进训练和编码方法，在某些任务上超越了GPT-3.5Turbo和Claude2。2.该模型使用RoPE编码和强化学习改进，提高了在编码、数学、语言理解等任务中的性能。3.文章还讨论了AI驱动的恶意机器人对网络安全的威胁，强调了数据防御策略和合作的重要性。