马毅团队新研究:微调多模态大模型会灾难性遗忘
站长网2023-09-28 10:29:530阅
要点:
1. 马毅团队提出了EMT框架,评估微调后的多模态大模型(MLLM)的灾难性遗忘。
2. 实验表明,微调MLLM在提升微调数据集性能的同时,也导致其他数据集性能下降。
3. 微调过程中,MLLM会产生与微调数据集相关的幻觉文本,忽略原始问题。
随着GPT-4的发布,多模态大模型(MLLM)成为热点。业界常将视觉编码器与语言模型集成构建MLLM。尽管微调后的MLLM在视觉语言任务上表现强劲,但仍面临灾难性遗忘的问题,即过拟合微调数据集后,在其他任务上的性能下降。
论文地址:https://arxiv.org/pdf/2309.10313.pdf
马毅团队提出了EMT框架,专门评估MLLM的灾难性遗忘。流程是:
1)输入图像;
2)要求MLLM分类;
3)用另一个语言模型评估分类正确性。
结果显示,测试的MLLM大多无法保持与视觉编码器相近的分类性能。
研究还针对LLaVA做了微调实验。证实了适度微调有益,但过度微调会导致非微调任务遗忘。另外,微调后的MLLM会产生与微调数据集相关的幻觉文本,而非原始问题。
本研究首次系统评估了MLLM中的灾难性遗忘问题,为后续工作提供了框架和基准。遗忘问题的产生也启示我们,在追求单任务性能的同时,还需注意保持模型的泛化能力,防止过拟合。模型设计和训练技巧仍需进一步优化,以平衡不同能力之间的权衡。
0000
评论列表
共(0)条相关推荐
网信办:重点治理仿冒他人企业上架APP和小程序等行为
中央网信办发布关于开展“清朗·优化营商网络环境保护企业合法权益”专项行动的通知称,决定即日起在全国范围内启动为期3个月的“清朗·优化营商网络环境保护企业合法权益”专项行动。重点治理以下十类网络乱象。1.假冒仿冒他人企业名称、注册商标、品牌等开设网站、注册账号、上架APP和小程序等。站长网2023-05-12 20:29:100000韩国一男子因利用AI创作虐待儿童图像被判刑
本文概要:-韩国法官首次以AI生成的儿童虐待图像为由判刑。-一名40多岁男子因拥有约360张虐待性质的AI生成儿童图像被判刑两年多监禁。-检察官成功主张将“性虐待材料”的定义扩大,包括“虚拟人物”参与性行为的图像或描述。韩国法官首次判决一名涉嫌使用人工智能生成儿童虐待图像的男子入狱,标志着南韩对AI技术滥用问题开始采取行动。站长网2023-10-03 14:52:010000钉钉与小冰公司达成合作 推出一键定制数字人服务
钉钉与小冰公司合作推出一键定制数字人服务,用户可通过钉钉参与数字人内测,并在钉钉视频号发布数字人视频。双方将在钉钉视频号、直播、视频会议、AI助理等领域展开全面合作。小冰提供数字人生产平台,用户可通过智能手机采集视频和音频数据创建专属数字人。数字人具有栩栩如生的声音、面容、表情和肢体动作。0000荣耀X50 GT定档 将于1月4日发布
荣耀官方宣布,将于1月4日19:30举行新品发布会,并推出GT系列越级性能产品荣耀X50GT。这款新机被荣耀称为“满帧战神”,意味着它将在性能方面表现出色。据此前爆料,荣耀X50GT将搭载骁龙8系旗舰芯片。0000中国移动云盘内测AI智能工具 上线AI云笔记、图配文等功能
中国移动云盘最新发布了AI智能工具,这是一款基于人工智能技术的云端应用,可以轻松生成文章、邮件和图片等各类内容,还能自动整理会议纪要、润色文案并回答问题。图片生成方面,通过这款AI智能工具,用户可以轻松实现图片风格转换,只需一键操作,就可以将黑白照片转换成彩色,实拍照片转换成动漫风格,静态照片转换成动态照片,而且这些图片还可以长久保存在云端。站长网2023-10-07 08:57:320003