大模型开车哪家强?普渡研究给指南:GPT-4真行啊
现在一句口令,就能指挥汽车了。
比如说声“我开会要迟到了”“我不想让我朋友等太久”等等,车就能理解,并且自动加速起来。
如果这次行程有不满意的,只需要给汽车提供反馈建议:“要在充分保障安全的前提下”,汽车的自动驾驶行为就会在下次行程中进行自我修正。
这是来自普渡大学数字孪生实验室最新研究——
让大语言模型部署在自动驾驶实车上,在多个交通场景,比如停车场、十字路口和高速上理解乘客的各种个性化指令,构建他们的数字孪生。
最终在众多大模型的实验中,GPT-4脱颖而出。
更多细节在此。
基于LLM的自动驾驶系统
而这背后的实现,主要来自于一个框架Talk2Drive。
这个框架主要有三个特点:
1、它将人类口头命令转换为文本指令,然后由云端的大模型来处理。在此过程中会用到一些语音识别的开源API,比如Whisper,准确捕获口令并翻译成文本。云上的大模型结合天气、交通状况和当地交通规则等信息,生成上下文驾驶数据。
2、大模型生成特定的自动驾驶代码,随后发送回车辆的电子控制单元(ECU)并在其中执行。
代码执行涉及调整基本驾驶行为以及车辆规划和控制系统中的各种参数。
随后,车辆的执行器通过CAN总线和线控系统控制油门、刹车、档位选择和转向。
3、车辆的存储模块秉承”千人千面“的理念,记录着所有人车交互数据,确保每次行驶体验都是基于乘客的历史偏好和实时命令进行定制,实现真正意义上的数字孪生个性体验。
经过一众大模型对比,他们最终选择GPT-4,因为它的延迟相对较小,以及推理能力更强。
在Talk2Drive 系统中,三类不同驾乘偏好的乘客以口头化的指令表达与大模型进行交互,以促使系统做出相应调整。当乘客对调整后的自动驾驶行为不满意时会关闭自动驾驶模式,系统也会记录这种情况下的 “接管”。
结果显示,无论驾乘偏好如何,Talk2Drive都能显著降低接管率。
这辆全副武装的自动驾驶车和大语言模型API协作完成了这次研究。
来自普渡大学数字孪生实验室
这项研究来自普渡大学数字孪生实验室。
从研究团队来看,大部分都是华人面孔。
其中一作Can Cui目前是普渡大学一年级博士生。在加入普渡大学工程学院之前,在密歇根大学获得了电气与计算机工程硕士学位。本科毕业于武汉理工大学。
其导师王子然博士,在2022年加入普渡大学之前,曾在丰田硅谷研发中心任职四年,以主任研究员的身份领衔数字孪生的相关研究。
据介绍,普渡数字孪生实验室从2023年6月开始深耕大语言模型和自动驾驶交叉领域,进行了包括文献综述、创立公开数据集、仿真环境测试、以及主办研讨会等一系列工作。
论文链接:
https://arxiv.org/abs/2312.09397
项目网站:
https://purduedigitaltwin.github.io/llm4ad
李想谈苹果取消造车 称苹果放弃造车是正确选择
今日早间,一则重磅消息震惊了科技界和汽车圈:经过长达十年的探索,苹果决定放弃造车计划。这一决定立即引发了行业内外的广泛关注和热议。据知情人士透露,苹果已经取消了电动汽车项目,并将相关团队转向生成式人工智能。这意味着,苹果正逐步结束其十年之久的电动汽车探索计划。站长网2024-02-28 11:34:160000董宇辉回应清空账号:电话被打爆 希望能潜下心做一些事
站长之家(ChinaZ.com)2月28日消息:近日,知名人士董宇辉清空个人微博账号的消息引发网友广泛热议。在“与辉同行”的直播中,董宇辉对此事进行了回应。董宇辉表示,自己无法解决被误解的问题,只能选择逃离微博这一社交平台。他强调,虽然自己的账号没有注销,但已很少发微博,希望网友能够继续关注并批评,但不要掐头去尾地误解一个人。站长网2024-02-28 08:20:400000斯坦福研究人员推出 Sophia 可高效低成本训练大模型
斯坦福大学的研究人员开发了一种名为Sophia的新型优化器,可将语言模型的预训练时间缩短一半。相比于Adam优化器,Sophia可以更快地解决语言模型的问题。Sophia通过轻量级估计对角Hessian矩阵作为二阶优化器的预条件。在更新之后,通过取梯度的平均值除以估计Hessian的平均值来进行元素级别的剪切。站长网2023-07-26 16:13:050000傻瓜式操作!开源贴纸制作工具StickerBaker 输入关键词就能生成卡通贴纸
StickerBaker是一个开源的贴纸制作工具,利用人工智能技术来制作各种有趣的贴纸。无论是想要一个简单的猫咪贴纸还是想要制作一系列多样化的贴纸,StickerBaker都能满足你的需求。站长网2024-02-27 14:19:180000City walk走红,又是中产陷阱?
在被同事普及Citywalk这个概念之前,栗子都没有意识到,原来自己一直以来的旅行方式有了一个新名字。北京也好,重庆也好,她习惯在城市里漫无目的地行走。她在狭窄的胡同里不分东南西北地漫步,和几个小时前刚认识的新朋友一起远眺长江,在陌生的国家随意钻进一家其貌不扬的烘焙店,主打一个“寻找惊喜”,或许是拐角处碰到的一只小狗,是一杯好喝的咖啡,又或只是想在行走中放空自己。站长网2023-06-29 04:07:140000