斯坦福CMU提出新序列模型Mamba 性能优于Transformer

要点:

斯坦福 CMU 联合团队提出的 Mamba 是一种新的序列模型，击败了 Transformer 在语言、音频和 DNA 序列任务上的性能，具有线性复杂度和更高的推理吞吐量。

Mamba 的创新之处在于选择性处理输入信息、硬件感知的状态扩展和简化的 SSM 架构，使得模型能够在固定状态大小下压缩上下文并自适应调整行为。

Mamba 在 Chinchilla 缩放定律下预训练时，语言任务优于同类开源模型，并在下游任务上达到同类最佳性能，特别是在长序列情况下表现出优势。

斯坦福大学和卡内基梅隆大学的研究团队联合提出了一种新的序列模型，名为 Mamba，它在语言、音频和 DNA 序列等任务上超越了 Transformer 模型。Mamba 采用了一种新的架构，具有线性复杂度和更高的推理吞吐量。与传统的注意力机制不同，Mamba 通过选择性处理输入信息，可以压缩上下文并自适应地调整行为。此外，Mamba 还利用了硬件感知的状态扩展技术，提高了在现代 GPU 上的计算效率。

在实验中，研究团队发现，Mamba 在 Chinchilla 缩放定律下进行预训练时，在语言任务上优于同类开源模型。此外，在下游任务上，无论是在小规模还是大规模的情况下，Mamba 都能够达到同类最佳性能。尤其是在处理长序列时，Mamba 相对于使用 FlashAttention 的 Transformer 模型具有更高的效率，而且不会出现内存不足的问题。

Mamba 的出现给 Transformer 模型带来了挑战。目前，Mamba 是第一个真正实现了与 Transformer 相当的性能，并且具有线性时间复杂度的序列模型。研究团队还表示，他们将继续探索 Mamba 在 Transformer 等大模型生态系统中的适用性，包括微调、自适应、提示学习等方面的研究。此外，团队还提到了扩展 Mamba 的挑战和工程调整，以及验证 Mamba 在更大规模下的性能。

综上所述，Mamba 作为一种新的序列模型，通过选择性处理输入信息和硬件感知的状态扩展技术，实现了与 Transformer 相当的性能，并在一些任务上表现出更高的效率。Mamba 的出现对于序列建模领域来说是一个重要的突破，未来还有许多研究和实践的工作需要进行。