码农狂喜!微软提出CodePlan,跨168个代码库编码任务,LLM自动化完成
这一次,微软提出的CodePlan让码农的生产力又提高了!
对于大模型来说,擅长的是本地化编码任务。
但如果任务跨越了多个相互依赖的文件,LLM却无法解决。
对此,微软研究人员设计了一个任务无关的神经网络框架,名为CodePlan。
论文地址:https://arxiv.org/pdf/2309.12499.pdf
论文中,CodePlan综合了多步骤编辑链(chain-of-edits),是一种将程序分析、规划和LLM结合在一起的新方法。
一起来具体看看,CodePlan是如何设计的?
CodePlan:大模型 规划
软件工程活动中,例如软件包迁移、修复静态分析或测试的错误报告,以及向代码库添加类型提示或其他规范,涉及到对整个代码存储库的普遍编辑。
研究人员将这些活动规划,为「存储库级别的编码任务」。
随着编码工具如GitHub Copilot、Code Whisperer得到了大模型能力加持,已经为码农在本地化编码问题提供了解决方案。
然而,现实是,「存储库级别的编码任务」更加复杂,不能直接通过LLM解决,因为存储库中的代码是相互依赖的,整个存储库可能太大而无法纳入提示。
这项研究中,微软团队将库级编码框架作为一个规划问题,并提出了一个任务不可知的框架,称为CodePlan。
CodePlan综合了一个多步骤的编辑链(计划) ,其中每一步都会调用代码位置上的LLM。该代码位置上的上下文来自整个存储库、以前的代码更改和特定于任务的指令。
CodePlan是基于增量依赖分析、变更可能影响分析和自适应规划算法的新型组合。
如下图,展示了复数库API的变化,微软研究人员的任务是根据这一变化迁移代码库。
图3左侧显示了代码库中使用复数库的相关部分。
具体来说,Create.cs文件中的方法func,调用了库中的create_complex方法,Process.cs文件中的方法Process.cs调用了func。
研究人员将图1中的任务描述和func主体传递给LLM,以生成修改后的func代码,如图3右侧所示。
可以看到,LLM已经正确地编辑了对create_complex API的调用,以便它返回一个Complex类型的对象,而不是两个浮点值的元组。
注意,这个编辑导致了方法func的签名发生了变化——它现在返回了一个Complex类型的对象。
这就需要修改方法func的调用者,比如Process.cs中的process方法,如图3左下角所示。如果不对process方法的主体进行适当的修改,代码就不能构建!
图3右下方显示了对process方法的适当修改,它能使版本库达到一致的状态,从而在编译时不会出错。
对于研究人员来说,最主要的是构建一个「存储库级别的编码系统」,能自动生成编辑所需的派生规范。
LLM驱动的库级编码任务定义如下:
CodePlan整体框架中,输入是一个存储库、一个通过自然语言指令或一组初始代码编辑表达种子规范的任务,一个正确性oracle和一个 LLM。
CodePlan构建了一个计划图,图中的每个节点都标识 LLM需要履行的代码编辑义务,而边则表示目标节点需要在源节点之后履行。
CodePlan监控代码编辑,并自适应地扩展计划图。
一旦计划中的所有步骤都已完成,存储库将由oracle进行分析。如果oracle验证了资源库,则任务完成。如果发现错误,错误报告将作为下一轮计划生成和执行的种子规范。
此外,CodePlan算法还维护了一个依赖关系图,图4说明了依赖关系图的结构。
刷新SOTA
研究人员评估了CodePlan在两个存储库级任务上的有效性: 包迁移 (C#)和时态代码编辑(Python)。
每个任务在多个代码库上进行评估,每个代码库都需要对多个文件(2-97个文件)进行相互依赖的更改。
这种复杂程度的编码任务,以前从未使用过LLM自动完成。
研究结果表明,与基线相比,CodePlan更符合基本事实,能够让5/6个存储库通过有效性检查,比如,无差错构建和正确的代码编辑。
总之,CodePlan为自动化复杂的库级编码任务提供了一种有前途的方法,既提高了生产率,又提高了准确性。
它成功应对了许多挑战,为高效可靠的软件工程实践开辟了新的可能性。
参考资料:
https://twitter.com/adityakanade0/status/1706291449674039711
罗斯柴尔德家族开始减持英伟达 计划谨慎加仓AI科技
据彭博社消息,资管机构EdmonddeRothschild的CIOBenjaminMelman透露,公司已经部分获利了结英伟达头寸,现在持有的头寸要小得多。公司计划谨慎加仓AI科技,但由于AI估值过高,他们会变得更加谨慎。站长网2023-06-05 19:58:280000魅族 21 超前订突破 20 万 将于 11 月 30 日发布
魅族官方宣布,魅族21超前订用户数量已经突破了20万大关,所有超前订用户都将全量享受180天的以换代修服务。如果超前订用户数量突破25万,所有超前订用户将全量解锁半年的碎屏保障服务。魅族21一元超前订活动提供了36个月质保等N重权益,包括优先发货、以旧换新补贴,以及AR智能眼镜的999元权益包。站长网2023-11-20 14:02:030000谷歌和OpenAI呼吁修改版权法以获取AI训练数据
本文概要:1.Google和OpenAI利用他们的机器人(GoogleBot和GPTBot)从互联网上收集数据,但最近的版权法对他们的数据抓取工作提出了障碍。2.AI模型需要人类生成的内容来提高,但公司应该支付还是从互联网获取这些内容是一个问题。3.OpenAI已经开始使用由ChatGPT创建的数据集来训练GPT-4,但仅依赖这些数据可能导致模型崩溃。站长网2023-08-11 17:58:440000AI正在改写互联网,也在改变「生产力」
不久前,iOS上一个第三方ChatGPT客户端「OpenCat」支持了键盘扩展,用户可以在任意App中使用ChatGPT的回答进行快速的输入。新特性上线后,用户就在不同的场合进行尝试:在购物App中用来生成好评、在微信聊天中生成回复、在社交网络上用它「对线」。站长网2023-05-05 09:09:360000