秒杀700亿Llama 2!最新国产大模型亮相,无需申请即可免费商用,背后公司来自私募巨头
国产大模型刚刚出了一位全新选手:
参数670亿的DeepSeek。
它在近20个中英文的公开评测榜单上直接超越了同量级、700亿的Llama2。
并尤其以推理、数学和编码能力为突出。
其中在数学能力上,它测了Grok刚刚参与过的匈牙利今年最新的高中数学考试题,得了65分。
对比Grok当时公布的成绩:59分,以及GPT-4的68分,表现十分出色。
DeepSeek主打一个发布即开源:
共包含70亿和670亿两个参数版本,每个版本均含基础模型和指令微调模型,无需申请,即可免费商用。
同时,它已开放了全面内测,注册一下就能玩。
Ps. DeepSeek的中文能力在GPT-3.5之上,可以使用中文进行测试。
在推特上,DeepSeek也引起了一大批技术同行的关注:
早期测试过的人表示没毛病。
还有人赞誉DeepSeek弥补了开源LLM在数学和编码上的短板。
那么,DeepSeek是如何训练出来的?
与Llama架构相同
DeepSeek使用与Llama相同的架构,即自回归Transformer解码器架构。
其中70亿参数的版本使用多头注意力,670亿参数版本使用分组查询注意力。
预训练在包含2万亿个中英文token的数据集(序列长度4096)和AdamW优化器上进行。
其中70亿参数版本的模型的训练batch size为2304,学习率为4.2e-4;670亿参数版本的模型的batch size为4608,学习率为3.2e-4。
DeepSeek的训练过程中特别采用了多步学习率计划:
先从2000个预测步骤开始,然后在1.6万亿token时逐步达到最大值的31.6%,在1.8万亿token时逐步达到最大值的10%。
有网友看完表示:
这种从1.6万亿token时开启的学习率冷却阶段有点类似于“Scaling Vision Transformers”那篇论文中的lr计划消融操作。
这也与Llama的余弦学习率衰减(要求它们提前指定步数)完全不同,非常有趣。
下图是作者发布的DeepSeek训练损失曲线以及在几个基准上的曲线图:
数学和编码能力突出
我们重点关注DeepSeek进行的如下三大类测试结果。
一个是今年5月才发布的2023年匈牙利高中数学考试题。
尽管DeepSeek已经在GSM8k和MATH这两个标准基准上取得了不错的成绩:
但由于存在过度拟合这些数据集的风险,作者还是决定评估一下样本外的数学泛化能力。
如下图所示,位于右上角的670亿参数DeepSeek最终在样本内数学能力(纵轴GSM8K)排名第三,仅次于Claude2和GPT-4,但在样本外数学能力(横轴Exam Score)排名第二,仅次于GPT-4。
第二个是考验DeepSeek指令跟随能力的测试。
在此,作者使用了谷歌11月15日刚刚发布的指令跟随评测集,来评价模型的“听话程度”。
结果是领先一众开源模型,但59.1分的成绩与GPT-4还有20分的差距。
最后是代码能力测试。
同样,作者在这里重点关注了样本外能力,选择的是LeetCode今年7月2日到11月12日的最新真题进行测试。
结果是比国内常见的大模型都要好很多,并且也远远超越了GPT3.5。
背后公司是谁?
经搜索,DeepSeek背后的公司名叫深度求索。base位于北京,今年5月正式成立。
目标不止是大模型,而是AGI。
就在11月初,这家公司就发布代码大模型DeepSeek Coder。
与之前最好的开源大模型CodeLlama相比,DeepSeek Coder在代码生成任务上(使用标准数据集HumanEval、MBPP和DS-1000进行评测)分别领先了9.3%、10.8%和5.9%。
特别值得一提的是,深度求索其实是从知名私募巨头幻方旗下独立出来的一家公司。
幻方这家公司听起来和AI“八杆子打不着”,但实际上,2019年时,幻方就发布了自研深度学习训练平台“萤火一号”。
据称该项目总投资近2亿元,共搭载了1100块GPU。
后来“萤火一号”由升级为“二号”,搭载的GPU数则达到了约1万张。
赵明称联名对手机影像提升有限 荣耀手机不再寻求影像联名
荣耀CEO赵明近日透露,荣耀在思考影像联名策略时,发现其对于手机影像的提升效果相对有限。因此,荣耀决定不再寻求与其他品牌的影像联名,而是更加专注于自身技术的提升。荣耀一直致力于通过计算光学技术来提升成像体验,并坚持单反价值主张。赵明强调,荣耀将沿着这一方向持续努力,为消费者带来更好的拍照体验。站长网2024-03-12 13:49:100000曝苹果可折叠iPhone开发暂停:供应商屏幕测试表现不佳
据最新报道,苹果公司已暂停了可折叠iPhone的开发,原因是其供应商的屏幕未能通过公司严格的测试标准。此前,有媒体透露,苹果正在秘密研发至少两款翻盖可折叠iPhone原型机,这些手机采用纵向折叠设计,支持悬停功能,当展开至90度角时,用户无需支架即可进行拍照。站长网2024-02-18 08:56:180000McAfee发布“Mockingbird”计划以阻止AI语音仿冒骗局
**划重点:**1.🛡️**项目介绍:**McAfee推出“Mockingbird”旨在检测使用AI生成的深度伪造技术,通过音频欺诈消费者,防范虚假新闻等骗局。2.🌐**技术创新:**该计划采用人工智能深度伪造音频检测技术,综合应用上下文、行为和类别检测模型,准确率超过90%,以应对滥用操纵音频的网络犯罪行为。0000年轻人“双标”预制菜:可以主动买,拒绝餐厅“喂”
年轻人对预制菜的态度,有点“言行不一”,这从近期过年预制菜的讨论中就能看出。春节将近,预制年菜、年夜饭预制礼盒等话题,成了应景的讨论热点。先是天猫预制年菜的广告遭群嘲,今年除夕不放假的打工人纷纷破防,“广告太阴间了”“年夜饭还是吃点好的吧”又有辛巴关于“让孩子吃一个好的预制菜是可以的,更健康更卫生”“老干妈、奶粉是预制菜”等言论引发网友“声讨”。站长网2024-01-31 14:35:010000今日AI:Stability AI不讲武德被Midjourney封禁;Claude3颠覆物理/化学;AI美女抖音带货月入5万
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/📰🤖📢AI新鲜事Midjourney封禁StabilityAI禁止后者员工使用软件【AiBase提要:】站长网2024-03-07 17:59:500000