中科大

还在用指令微调解决多模态大模型的“幻觉”问题吗?比如下图中模型将橙色柯基错认为“红狗”，还指出周围还有几条。现在，中科大的一项研究想到了一个全新办法:一个免重训、即插即用的通用架构，直接从模型给出的错误文本下手，“倒推”出可能出现“幻觉”之处，然后与图片确定事实，最终直接完成修正。他们将这个方法命名为“啄木鸟”（Woodpecker）。

随着ChatGPT、GPT-4、LLaMa等模型的问世，人们越来越关注生成式模型的发展。相比于日渐成熟的文本生成和图像生成，视频、语音等模态的AI生成还面临着较大的挑战。