MoE

MiniMax在2024年1月16日全量发布了大语言模型abab6，这是国内首个采用MoE架构的大语言模型。MoE架构使得abab6具备处理复杂任务的能力，并且在单位时间内能够训练更多的数据，提高计算效率。相比于之前的版本abab5.5，在处理更复杂、对模型输出有更精细要求的场景中，abab6有显著的提升。

MistralAI近日发布了首个开源MoE模型Mixtral8x7B，并宣布在魔搭社区上线。Mixtral-8x7B是一款混合专家模型（MixtrueofExperts），由8个拥有70亿参数的专家网络组成，在能力上，Mixtral-8x7B支持32ktoken上下文长度，支持英语、法语、意大利语、德语和西班牙语，拥有优秀的代码生成能力，可微调为指令跟随模型。

清华大学计算机系PACMAN实验室发布了一种稀疏大模型训练系统SmartMoE，该系统支持用户一键实现Mixture-of-Experts（MoE）模型的分布式训练，并通过自动搜索并行策略来提高训练性能。论文地址:https://www.usenix.org/system/files/atc23-zhai.pdf

世界上最强大的人工智能模型似乎变得不那么强大了。这让业内人士开始谈论可能会对该系统进行重大重新设计。最近几周，OpenAI的GPT-4的用户们纷纷抱怨性能下降，有些人将这个模型与以前的推理能力和其他输出进行比较，称其变得「懒散」和「更笨」。

站长之家(ChinaZ.com)7月11日消息:今天SemiAnalysis的DylanPatel和GeraldWong发表了一篇题为《GPT-4Architecture,Infrastructure,TrainingDataset,Costs,Vision,MoE》的文章，揭示GPT-4的所有细节。