视频生成框架WonderJourney:一句话一张图就能生成无限3D画面
划重点:
🌐 斯坦福华人提出全新视频生成框架WonderJourney,能一句话或一张图生成连贯的3D场景。
🎨 WonderJourney通过LLM生成场景描述,使用文本驱动的视觉模块创造连续的3D场景,通过大型VLM验证生成效果。
🎨WonderJourney还可以根据文本描述(如诗歌、俳句和故事摘要)生成可控制的奇妙之旅,呈现出多样化的视觉效果。
斯坦福的华人研究人员最近推出了一项引人注目的创新视频生成框架WonderJourney,该框架可以通过一句话或一张图生成令人惊叹连贯的3D场景。
这项技术由一位华人退学博士开发的Pika技术引领,成功地将人工智能技术与艺术相融合,开辟了一片新的视觉创作领域。
WonderJourney框架被设计为用于无限场景生成的模块化工具。与以往专注于单一场景类型的视图生成框架不同,WonderJourney具有独特的能力,可以从用户提供的任何位置(通过文本描述或图像)开始,通过一系列不同但连贯相连的3D场景生成。这为用户提供了创造无限3D场景的可能性,仅需通过简短的文字描述或一张图片即可引发绚丽的想象。
WonderJourney的生成过程涉及多个关键组件,其中之一是Language Model (LLM),负责生成场景的文本描述。通过LLM的语义理解和常识推理,WonderJourney能够产生连贯且富有创意的场景描述。同时,文本驱动的视觉模块负责根据这些描述生成彩色点云,形成连贯的3D场景序列。为了验证生成的效果,WonderJourney还采用了大型的Visual Language Model (VLM),确保场景的视觉效果得到有效验证。
从效果展示来看,WonderJourney不仅可以从任意位置开始,沿着摄像机轨迹生成一系列不同但连贯的3D场景,还能合成长篇视频,呈现出令人惊叹的视觉冒险。
这种框架的创新之处在于,它不仅提供了场景的生成,还能根据用户需求生成不同发展方向的"WonderJourneys",实现了一种类似"AI的平行世界"的效果。此外,WonderJourney还展示了根据文本描述生成受控的"WonderJourneys"的能力,从古诗到日文俳句,再到英文场景的故事摘要,多语言呈现不同的艺术风格。
WonderJourney框架的推出标志着在3D场景生成领域的一次重要突破。它为用户提供了一个强大而灵活的工具,通过简单的语言或图像输入,创造出无限丰富的3D视觉体验。这一创新有望在艺术、影视制作等领域带来新的可能性,为创作者提供更广阔的创作空间。
WonderJourney项目网址:https://kovenyu.com/wonderjourney/
论文网址:https://arxiv.org/pdf/2312.03884.pdf
直板手机终极形态!红魔9 Pro系列宣布摄像头无凸出
红魔新款手机红魔9Pro系列将于11月23日14点发布,宣称这款手机将再次定义游戏性能的天花板。这款手机的设计非常引人注目,因为它采用了直角边框设计,侧面没有突出的镜头模组。红魔将这种设计称为“直板手机的终极形态”。从官方公布的新机侧边图来看,红魔9Pro系列的外观非常惊艳。它的摄像头并没有突出,与许多其他品牌的手机不同,它的设计更加简洁和美观。站长网2023-11-14 11:28:140000Elevate 完成新一轮 2800 万美元融资 使用人工智能技术满足核心需求
消费者福利管理平台Elevate日前宣布完成了一轮融资,由Anthemis牵头、FinCapitalNorwestVenturePartners、Greycroft、BoweryCapital和FireboltVentures参与。本次融资共筹集2800万美元,将用于产品开发、人员招聘和客户获取。站长网2023-04-25 15:35:480000Meta AI提出视频抠图新方法OmnimatteRF:结合动态2D前景图层和3D背景模型
要点:马里兰大学和MetaAI研究人员提出视频抠图新方法OmnimatteRF,同时利用2D前景图层和3D背景模型。2D前景图层记录运动物体及影响,3D背景模型适用于复杂几何和非旋转摄像运动,扩展适用视频种类。在两个视频数据集上,与先前方法相比,该方法取得更好表现,无需每个视频单独参数调整。站长网2023-09-20 10:14:010000高通与 Meta 合作:利用 Llama 2 模型启用设备端人工智能应用
高通和Meta两家公司今天宣布,将从2024年开始,这家社交网络公司的新大型语言模型Llama2可以在手机和PC上的高通芯片上运行。站长网2023-07-19 19:53:510000深度催眠引发的LLM越狱:香港浸会大学揭示大语言模型安全漏洞
要点:大语言模型(LLM)在各应用中成功,但容易受到Prompt诱导越过安全防护,即Jailbreak。研究以心理学视角提出的轻量级Jailbreak方法DeepInception,通过深度催眠LLM使其越狱,并规避内置安全防护。站长网2023-11-22 12:06:380001