谷歌AI提出视觉语言模型PixelLLM:能够进行细粒度定位和视觉语言对齐
**划重点:**
1. 🧠 谷歌研究团队与加州大学圣迭戈分校合作,提出了一种名为PixelLLM的智能模型,可实现细粒度定位和视觉-语言对齐。
2. 🌐 PixelLLM通过在语言模型的每个输出单词与像素位置之间建立密集对齐,成功解决了大语言模型在定位任务中的挑战。
3. 📈 在密集目标描述、位置条件描述和引用定位等视觉任务中,PixelLLM展现出卓越的性能,证明其在视觉-语言对齐和定位方面取得了最先进的结果。
谷歌AI研究团队与加州大学圣迭戈分校的研究人员合作,提出了一种名为PixelLLM的智能模型,旨在解决大型语言模型在细粒度定位和视觉-语言对齐方面的挑战。这一模型的提出受到了人类自然行为的启发,尤其是婴儿描述其视觉环境的方式,包括手势、指向和命名。
PixelLLM的独特之处在于,它通过在语言模型的每个输出单词与像素位置之间建立密集对齐,成功地实现了对定位任务的精准处理。为了实现这一目标,研究团队在单词特征之上添加了一个微型多层感知器(MLP),使其能够回归到每个单词的像素位置。低秩微调(LoRA)的使用使得语言模型的权重可以被更新或冻结,同时模型还能够接收文本或位置提示,以提供根据提示定制的输出。
PixelLLM的整体架构包括图像编码器、提示编码器和提示特征提取器。大型语言模型被馈送以提示为条件的图片特征和可选的文本提示,输出形式为每个单词的定位和字幕。该架构具有输入或输出语言或位置的多样性组合,对于各种视觉-语言活动具有灵活性和适应性。
研究团队对PixelLLM进行了评估,应用于密集目标描述、位置条件描述和引用定位等视觉任务。令人瞩目的性能指标包括在RefCOCO引用定位上的89.8P@0.5,Visual Genome条件描述上的19.9CIDEr以及密集目标描述上的17.0mAP。通过在RefCOCO上进行的消融研究显示,与其他定位公式相比,PixelLLM在密集像素定位公式上取得了3.7点的增益。
PixelLLM的主要贡献总结如下:
1. 引入了一种新的视觉-语言模型PixelLLM,能够生成单词定位并生成图片字幕。
2. 该模型支持文本或可选的位置提示,除了图片输入。
3. 使用本地化叙述数据集进行每个单词的本地化训练。
4. 该模型能够适应各种视觉-语言任务,包括分割、位置条件字幕、引用定位和密集描述。
5. 在位置条件字幕、密集描述和引用定位与分割等方面,该模型展现出卓越的性能。
这一研究成果标志着在大型语言模型领域取得的一项重要进展,为实现更精确的视觉-语言对齐和定位打开了新的可能性。
项目体验网址:https://jerryxu.net/PixelLLM/
论文网址:https://arxiv.org/abs/2312.09237
抖音做酒旅,为什么必须上线「日历房」|服务商对话No.16
酒旅是本地生活市场里单价更高、利润也更高的领域。但也因为它高单价、消费频次更低、核销链条相对餐饮团购更为复杂等特点,综合性本地平台通常要在餐饮领域摸索出相对成熟的路径后,才能腾出手来做酒旅。成立两年多的抖音生活服务,也在今年开始发力对酒旅市场的探索。5月30号,抖音生活服务官宣「日历房」功能上线,更被业内认为是抖音酒旅切入OTA(OnlineTravelAgency)生意的标志性事件。站长网2023-06-15 10:10:420000让ChatGPT等模型学会自主思考!开创性技术“自主认知”框架
ChatGPT、百度文心一言、Bard等大语言模型展现出了超强的创造能力,加速了生成式AI的应用进程。但AI模型只能基于训练数据执行各种任务,无法像人类一样利用生活知识、过往经验用于复杂的推理和决策。例如,在玩游戏时,人类可以利用各种线索、常识、经验以及对游戏规则的理解做出最佳决策。而AI只能通过大量训练学习游戏的模式,不具备人性化理解功能。一旦游戏规则或环境发生变化,AI就很难做出正确的选择。站长网2023-10-13 09:02:340000阿里巴巴将派发 2023 财年年度股息 总额约为 25 亿美元
阿里巴巴在港交所公告,将向截至2023年12月21日香港时间及纽约时间收市时登记在册的普通股持有人和美国存托股持有人,就2023财年首次派发年度股息,金额分别为每股普通股0.125美元或每股美国存托股1.00美元,以美元支付。根据财报披露,股息总额约为25亿美元。站长网2023-12-06 09:16:360001靠性科普单月小红书涨粉90万,为什么在笔记里带上#宝宝辅食#?
科普性知识的“公主是用鲜花做的”,在小红书火了。她的内容专为女生而定制,教女生如何正确认知和理解“性”这件事,分享各种恋爱观点。新红数据显示,“公主是用鲜花做的”小红书账号一个月涨粉超过90万。有意思的是,她的视频文案中除了#女性#、#情感#、#恋爱#等相关标签外,还打上了#宝宝辅食#这个看似没有任何关联的标签。站长网2023-08-10 10:32:210000马斯克被推特前员工起诉 要求支付至少5亿美元额外遣散费
据CNN报道一名前推特员工于周三向推特及其所有者埃隆·马斯克提起了一项新的诉讼,指控该公司未能在去年11月大规模裁员之前向员工提供其承诺的全部遣散费。这项诉讼是在加利福尼亚州的联邦地区法院提起的集体诉讼,要求法院命令马斯克和推特向前员工支付至少5亿美元的额外遣散费。站长网2023-07-13 23:56:260000