MiniMax 稀宇科技发布万亿 MoE 模型abab 6.5
站长网2024-04-18 17:11:350阅
MiniMax 在2024年4月17日推出了 abab6.5系列模型,这是一个万亿 MoE(Mixture of Experts)模型。在 MoE 还没有成为行业共识的情况下,MiniMax 投入了大量精力研究 MoE 技术,并在今年1月发布了国内首个基于 MoE 架构的 abab6模型。经过三个月的研发,他们推出了更强大的 abab6.5模型。
abab6.5系列包含两个模型:abab6.5和 abab6.5s。abab6.5拥有万亿参数,支持200k tokens 的上下文长度;而 abab6.5s 采用了相同的训练技术和数据,但更高效,支持200k tokens 的上下文长度,并且可以在1秒内处理近3万字的文本。
在各类核心能力测试中,abab6.5开始接近世界上最领先的大语言模型,如 GPT-4、Claude-3、Gemini-1.5等。
abab6.5和 abab6.5s 将会陆续更新到 MiniMax 旗下的产品中,包括生产力产品海螺 AI 和 MiniMax 开放平台。用户可以通过这些产品来体验这些先进的语言模型。
0000
评论列表
共(0)条相关推荐
鸿海成立量子计算实验室:专注于新一代 AI 与车用相关技术
站长之家(ChinaZ.com)10月16日消息:鸿海精密工业股份有限公司(鸿海精密)日前在一份声明中表示,作为鸿海「33」转型计划的一部分,鸿海精密研究院昨天启动了离子阱量子计算实验室。根据鸿海的说法,「33」计划是指通过使用人工智能、半导体和通信技术来发展三个新兴领域——电动汽车、机器人和数字医疗。站长网2023-10-16 11:19:070000当我想要构建一款 LLM 应用时:关于技术栈、省钱和游戏规则
“虽然在2012年到2015年间,深度学习在图像识别领域获得了巨大成功,但要达到通用人工智能,还需要时间。”这是读研究生时刘小洋的老教授告诉他的。站长网2023-09-20 18:15:050001eBay 推出 AI 辅助背景工具,增强产品图片
划重点:-eBay推出新的AI背景增强工具,允许卖家用AI生成的背景替换图片背景-该工具已在美国、英国和德国的iOS用户中推出,将逐渐在未来几个月内向Android用户推出-这一举措使得卖家无需专业设备或技能即可拍摄出专业外观的高质量照片站长网2024-06-06 20:46:070000Edge疑屏蔽百度搜索结果 双方暂未回应
1月29日,“百度Edge”事件引发微博热议,许多网友反映,Edge浏览器显示百度搜索结果存在风险,搜索结果出现“此网站不安全已被人投诉”的提示语,要查看详情,然后选择“仍要访问此不安全网站(不建议)”才能进入相关页面。经过测试发现,目前为止,相关问题还没有解决,在Edge浏览器上点击百度相关链接,所有页面都出现“红色”警告。百度和微软中国方面都表示不清楚情况,正在向业务部门询问了解情况。站长网2024-01-29 17:40:230000美团、浙大等提出视觉任务统一架构VisionLLAMA
要点:1.VisionLLaMA是一种统一的视觉transformer架构,显著提升了图像生成、分类、语义分割和目标检测等多个主流视觉任务的性能。2.VisionLLaMA架构采用常规transformer和金字塔结构两种设计,有效减少了视觉和语言之间的架构差异,实现了更好的泛化能力和更快的收敛速度。站长网2024-03-07 16:16:090000