智源团队推出「生长策略」 解决大模型训练算力成本过高问题
站长网2023-09-21 09:13:571阅
近日,智源研究院联合中科院计算所、南洋理工大学(新加坡)、电子科技大学(成都)、哈尔滨工业大学(深圳)的研究团队共同提出了一种「生长策略」(growth strategy),以解决大模型算力成本极高的问题。
研究团队基于「生长策略」逐步构建了一个具有1010亿参数的FLM-101B大模型。实际训练结果显示,只需约10万美元(约70万人民币)的算力成本,就能成功训练出一个效果和GPT-3、GLM-130B可比的千亿大模型。
「生长策略」的核心思想是让模型在训练过程中的参数量可以随着训练进行逐步扩展,从较小的参数规模扩展到更大的参数规模。研究团队利用这种策略成功地训练出了 FLM-101B 大模型,并且通过评测发现,该模型在知识能力和智能水平方面具有竞争力。
此外,研究团队还提出了一种基于 IQ 的评测方法,以更全面、客观地评估大模型的智力水平。他们从四个维度对大模型进行了 IQ 测试:符号评测、规则理解、模式挖掘和抗干扰评测。实验结果显示,FLM-101B 在这些评测任务上表现出了非常好的能力。
FLM-101B模型地址:
https://huggingface.co/CofeAI/FLM-101B
0001
评论列表
共(0)条相关推荐
单场点赞破2亿、曹云金“相声直播”冲击线下剧场生态
“专业能力真的很厉害。直播从相声发展历史,马三立、马季、姜昆、冯巩等相声大师的特点、段子,娓娓道来,娴熟自如。非泛泛之辈能比。”“还是郭德纲最好的徒弟,云鹤九霄不如一曹。”凭借着“相声直播”,曹云金翻红了。在视频评论区,几乎全是对他专业能力的夸赞,对德云社其他人的“踩”,而昔日那段与师父郭德纲的恩怨,以及随之崩盘的人设和口碑,网络评论区刷屏的“孽徒”,也实现了反转。站长网2023-05-25 14:12:430000Stability AI 政策负责人:人工智能不会摧毁创造力
StabilityAI公共政策主管BenBrooks表示,人工智能不会摧毁创意市场,反而会为创作者赋能。BenBrooks在美国参议院知识产权小组委员会上发表讲话时表示,像Stability自己的stablediffution这样的生成人工智能工具将扩大创造性机会,就像过去的技术进步所做的那样。站长网2023-07-19 19:53:520000算力资源稀缺!OpenAI计划自研芯片:解决GPU卡脖子问题
快科技10月6日消息,据国外媒体报道称,ChatGPT背后的OpenAI计划自研AI芯片,以解决其所依赖的AI芯片短缺以及成本高昂问题,甚至已经开始评估潜在的收购目标。据知情人士表示,OpenAI至少从去年就已经开始讨论各种方案解决AI芯片短缺问题,这些方案包括自研AI芯片、与英伟达等制造商展开更紧密合作、实现供应商多元化并最终超越英伟达等。站长网2023-10-06 21:55:220000为什么缩小大语言模型是生成式人工智能的未来?
本文概要:1.大型语言模型(LLM)在企业使用中存在明显挑战,而较小的语言模型则可以更好地适应企业需求。2.较小的语言模型可以在现有的安全环境中进行操作和训练,速度更快、准确性更高。3.较小的语言模型可以基于企业的敏感数据进行定制,与其他数据集结合使用,为企业提供更有价值的洞察力。站长网2023-08-15 14:50:020000IBM 预测全年营收增长超出预期,受到AI应用潮流推动
划重点:-💼IBM预测全年营收增长超出市场预期,依靠企业对其IT软件和咨询服务的稳定需求,以应对人工智能的应用。-📈公司重点发展软件和咨询服务,并加大对人工智能的投入,通过与各行业的整合,取得了不错的业绩。-💻IBM预计2024年的营收将以中个位数增长,达到4%-6%左右,超过华尔街预期。站长网2024-01-25 09:58:530000