多模态LLM幻觉问题降低30

还在用指令微调解决多模态大模型的“幻觉”问题吗?比如下图中模型将橙色柯基错认为“红狗”，还指出周围还有几条。现在，中科大的一项研究想到了一个全新办法:一个免重训、即插即用的通用架构，直接从模型给出的错误文本下手，“倒推”出可能出现“幻觉”之处，然后与图片确定事实，最终直接完成修正。他们将这个方法命名为“啄木鸟”（Woodpecker）。