快手开源KwaiAgents系统 性能超越GPT-3.5
要点:
1. 快手与哈尔滨工业大学联合研发的「KwaiAgents」系统实现了7B/13B模型的开源,超越了GPT-3.5的效果。
2. 「KwaiAgents」包含轻量级AI Agents系统(KAgentSys-Lite)、具有通用能力的大模型(KAgentLMs)、以及开箱即用的自动化评测Benchmark(KAgentBench)。
3. 通过Meta-Agent Tuning(MAT)方法,模型在训练中引入更多Agent Prompt模板,提升大模型在任务规划、工具使用、反思等能力,从而达到超越效果。
近日,快手联合哈尔滨工业大学成功开源了「KwaiAgents」系统,实现了7B/13B模型的超越效果。这一成果的背后,是通过Meta-Agent Tuning(MAT)方法提升大模型的通用能力。整个项目包含了系统、模型、以及评测三个方面的内容,并通过GitHub完全开源,为研究者和开发者提供了极大的便利。
项目地址:https://github.com/KwaiKEG/KwaiAgents
该系统以大模型为认知内核,配以记忆机制和工具库,形成迭代式自动化系统。记忆机制包含知识库、对话和任务历史三类记忆,通过混合向量检索和关键词检索技术,在每一轮对话中检索所需信息。工具集包含事实性增强工具,异构的搜索和浏览机制能够汇集多个来源的知识,包括网页、文本百科和视频百科。自动化Loop中,系统在一轮对话中接收问题,进行记忆的更新和检索,调用大模型进行任务规划,根据需要调用工具,最后综合历史信息给出回答。
为避免训练中单一模板引起的过拟合问题,团队提出了MAT方法。该方法分为两阶段:模板生成阶段和指令微调阶段。在模板生成阶段,通过设计Meta-Agent,生成实例化的Agent Prompt模板,候选结果与开源模板进行对比打分,从而筛选出高质量的Agent Prompt模板库。在指令微调阶段,基于上万的模板构建了超过20万的Agent调优指令微调数据。通过这一方法,模型在任务规划、工具使用、反思等方面的能力得到提升,同时避免了过度依赖单一模板的问题。
KAgentBench通过人工精细化标注的数据,提供开箱即用的Agent能力自动化评测Benchmark。该Benchmark涵盖不同种类的能力构造输入,每个query配备多个模板和多个人工编辑的真实回答,综合评测准确性和泛化性。评测结果显示,通过MAT调优后,7B-13B模型在各项能力上均有显著提升,超越了GPT-3.5的效果。
团队表示,AI Agents是一条具有潜力的道路,未来将持之以恒地沉淀核心技术,并积极探索Agents技术与快手业务的结合,尝试更多有趣、有价值的创新应用落地。这一开源项目为整个社区注入了新的活力,为研究者提供了丰富的资源和参考。
微软推出全新预训练模型phi-1.5 仅13亿参数常识推理碾压Llama2
要点:1、微软研究人员推出了一个仅有13亿参数的LLM模型Phi-1.5。2、Phi-1.5在常识推理任务上表现优异,优于多个参数量十倍以上的模型。3、研究表明,模型参数规模不是决定性因素,高质量数据更为重要。微软研究人员最近在一篇论文中提出了一个新的语言模型Phi-1.5,该模型的参数量仅有13亿。研究人员主要关注Phi-1.5在常识推理方面的表现,因为这是对语言模型能力的重要考验。站长网2023-09-18 10:01:440000东方甄选带货57亿营收28亿 薪酬开支大增168%
站长之家(ChinaZ.com)1月25日消息:东方甄选公布了2024财年的中期业绩报告。报告显示,在2023年6月1日至11月30日的六个月内,公司总收入约为28亿元,同比增长34.4%。然而,调整后的净利润为5.09亿元,同比下降约15.4%。东方甄选在此期间的直播带货GMV达到了57亿元,相比2022年同期增长了约19%。这一增长主要得益于公司在各个销售渠道的出色表现,尤其是抖音平台。站长网2024-01-25 14:20:540000大厂秋招又起:为什么“ATMD”成第一梯队
前不久,三言科技曾写过各互联网大厂陆续开启了2024届校招进程,伴随着AI大模型成为热门概念,今年一些互联网大厂也在关注这方面人才。不过,今年的校招笔者还注意到一个有趣的现象——“ATMD”正成为应届生们首选的公司。今年秋招季期间,很多自媒体以及专业人士都为应届生提供了求职建议。而他们无一例外都将“ATMD”放在第一梯队,甚至有人直言称,学生们大可“盲选”这几家公司,不会有错。站长网2023-08-16 18:22:080000吸金2千万?《黑莲花》爆红后全网下架!抖音短剧该咋做?
本文转载自运营公举小磊磊(公众号ID:gongjulei),免费阅读200万字新媒体运营知识,提升新媒体运营能力。11月16日,付费短剧《黑莲花上位手册》爆火,走红抖音等平台,迅速登上微博热搜。网传消息称该剧吸金2000W,虽然证实无法该消息的真实性,但该剧100多W的粉丝数,3500W的点赞数,足见其爆火程度。站长网2023-11-29 11:09:440000midjourney画质一秒变清晰!Tracejourney可将 Midjourney 图片转为矢量图
Tracejourney是一个免费的Discord机器人,旨在为任何插图创建矢量文件。矢量文件具有良好的可扩展性,可适用于多种场合,例如印刷、POD设计、网页设计以及动画等等。此外,它还可以帮助你轻松完成一系列任务,包括一键抠图、图像矢量化、亮度和对比度调整等。核心功能:一键转换:只需点击一次,即可将Midjourney图片转为矢量图或进行放大。站长网2023-08-21 20:33:180000