国产百亿大模型再增一员!400亿参数孟子GPT发布,各项任务平均提升10-15%
刚刚,国产大模型明星选手孟子GPT上新!
400亿参数通用大模型正式发布,已开启邀测。
数据显示,孟子GPT-40B版本全面领先7B版本,大约提升10-15个百分点。
并超越部分国内大模型,在多语言任务等方面接近ChatGPT-3.5。
孟子GPT来自澜舟科技,其创始人为NLP领域大牛周明。
自21年成立以来,澜舟科技先后发布孟子系列模型、MChat以及多个垂直领域模型,并拿下数亿元融资。
这次发布是孟子GPT上新。除了基础大模型以外,澜舟科技还同步上线了行业大模型,以及基于大模型的产品应用。
分别是:
基于孟子GPT打造的金融大模型
基于孟子GPT打造的会议内容分析平台“澜舟智会”
基于这三方面上新,澜舟科技也表示,未来将全面拥抱MaaS服务,提供基础模型、大模型训练框架/工具包等服务。
使用更成熟预训练技术
据发布会介绍,孟子GPT-40B主要在中文及多语言能力、写作、多轮对话等方面做了提升。
通过网页、百科、社交媒体、新闻以及高质量开源数据集,孟子GPT-40中文能力更加突出。
并且基于万亿tokens多语言语料联合训练,更进一步提升了英语等语言能力。
在底层算法上,澜舟表示使用了更成熟的预训练技术,利用50万指令数据精调,基于70亿参数量的奖惩函数进行强化学习。
基于FlashAttention的高效注意力计算,训练速度提升8.5倍。基于TGI等加速框架,推理速度提升4.6倍。
在孟子GPT-40B基础上,还能更进一步训练出行业大模型。
同步发布的澜舟智会,能提取出会议录音/视频的核心内容,生成总结和摘要,并且能对要点进行问答。
就在最近,孟子大模型还登顶中文大语言模型测评榜单C-Eval。
澜舟已拿下数亿元融资
澜舟科技是以NLP技术为基础的认知智能公司,由AI大牛周明创办,成立于2021年6月。
周明,当今NLP领域成就最高的华人之一,他不仅是中国第一个中英翻译系统的研制者,还在2019年成为AI语言领域最高级顶会ACL(国际计算语言协会)主席。
1991年在NLP重镇哈工大拿到博士学位后,周明进入清华任教;1999年被微软亚洲研究院创始院长李开复挖走,后来不久成为NLP研究组负责人。
2020年离开MSRA加盟创新工场担任首席科学家时,周明已担任MSRA副院长多年。
澜舟科技成立以来,主打加速AI落地,在轻量化大模型、垂直领域大模型上都做了颇多探索。
据介绍,除了孟子大模型外,目前澜舟科技已经开源了20个左右大模型。
今年3月,澜舟科技最新拿下Pre-A轮融资,由北京中关村科学城公司领投,斯道资本和创新工场跟投。这是澜舟科技收获的第2轮融资,2轮累计总额数亿元。
—完—
华为秋季全场景新品发布会:华为发布13.2英寸MatePad Pro
今日,华为正式发布了13.2英寸MatePadPro,搭载麒麟9000s以及不锈钢VC52000m㎡高导热石墨散热。华为MatePadPro13.2英寸不仅在尺寸上得到了升级,其重量和厚度也刷新了记录,提升了平板的便携性。华为MatePadPro13.2英寸平板电脑具有3:2的屏幕比例。机身非常轻薄,只有5.5mm厚度,重量为580g。站长网2023-09-25 15:19:290000英国副首相表示,AI 对英国产生影响可能比工业革命更大
本文概要:1.副首相奥利弗·道登表示,人工智能可能对英国产生比工业革命更重大的影响,提高生产力和加快政府决策。2.道登警告说,黑客可能利用人工智能来获取政府敏感信息,进行恶意攻击和数据泄露。3.道登表示,政府将确保人工智能发展不会惩罚人类,但也必须认识到存在的风险并加以解决。英国副首相奥利弗·道登表示,人工智能有可能对英国产生比工业革命更重大的影响。站长网2023-08-14 10:44:1700002000大衣只赔60,网上送洗到底靠不靠谱
不靠谱的洗衣平台,正在背刺一线年轻人当你有一件羽绒服需要干洗时,你会花50块钱选择小区门口那家开了五年的小店,还是拿出手机支付25块钱等待某线上洗衣平台上门取件?不同的消费者或许会给出不同的答案。天气转凉,又到了一年一度整理衣柜的季节。洗衣行业也迎来旺季,线上团购平台屡推特价套餐搞促销,线下洗衣店仓库爆满。站长网2023-10-25 20:16:370000亚马逊Amazon EC2 P5 实例正式可用 可将训练时间缩减6倍
亚马逊云科技近日在纽约峰会上宣布AmazonElasticComputeCloud(EC2)P5实例正式可用。这是一款下一代GPU实例,由最新的英伟达H100TensorCoreGPU提供支持,可以满足客户在运行人工智能、机器学习和高性能计算工作负载时对高性能和高扩展性的需求。站长网2023-07-31 21:54:530000网络游戏概念:北资流入!未来3年有望翻10倍的5大"网络游戏"企业
谈论起网络游戏不少人还是嗤之以鼻的,觉得这玩意就是个祸害。真实情况真是如此吗?那为何还能爆火?网络游戏其实齐聚了高端技术以及文化的一种形态,只是因为容易沉迷其中从而引发了很多错误的观点。网络游戏要发展,还得离不开人们对其正确的评价,其实网络游戏也有好听的昵称,就是电子竞技,已经走向世界的舞台。第一、交互式影像叙事与欲望的替代机制站长网2023-05-23 13:04:360000