腾讯和香港科技大学开源视频生成模型VideoCrafter1 超越其他开源模型
站长网2023-11-01 11:35:020阅
腾讯和香港科技大学最近合作推出了一种全新的视频生成模型VideoCrafter,用于高质量视频生成。这个模型包括视频VAE和3D去噪U-net,经过在庞大的数据集上进行了训练,其性能表现出色,超过了其他开源视频生成模型。
该项目旨在创建一个高级且用户友好的视频生成模型,以满足研究和生产的需求,并为社区的发展做出贡献。他们还设想了一个视频创作助手,能够通过视觉创作将想象的点子变为现实。
项目地址:https://ailab-cvc.github.io/videocrafter/
VideoCrafter1提供了两种开放扩散模型,分别用于文本到视频(T2V)和图像到视频(I2V)任务。T2V模型能够生成具有1024×576分辨率的逼真且具有电影质量的视频,在质量方面胜过其他开源T2V模型。而I2V模型则旨在生成与提供的参考图像内容严格一致的视频,保留其内容、结构和风格。这是第一个能够将给定图像转化为视频剪辑并保持内容保存约束的开源I2V基础模型。
该项目的视频扩散模型框架利用自动编码器的潜在空间中训练视频UNet,以FPS作为条件来控制生成视频的运动速度。对于T2V模型,只需将文本提示通过交叉关注(feed into the spatial transformer)输入即可,而对于I2V模型,则将文本和图像提示一同输入。
此外,他们提供了EvalCrafter进行综合评估。项目鼓励使用其代码、模型和数据的研究引用,并采用Apache2.0许可分发其代码、模型和数据。
0000
评论列表
共(0)条相关推荐
百家云发布一站式AIGC场景化平台「百问大模型」
近日,百家云在战略发布会上发布了一站式AIGC场景化平台「百问大模型」。据悉,“百问大模型”基于百家云的技术积淀和研发实力诞生,在保证企业数据安全的基础上,可帮助企业低成本接入各类AIGC服务,解决企业应用模型技术的现实困难,具体为:站长网2023-09-01 11:17:250000视频生成模型Stable Video Diffusion1.1发布 清晰度质量有所改进
StableVideoDiffusion(SVD)模型1.1已经发布,通过测试视频展示了其令人瞩目的性能。SVD1.1模型是一个生成图像到视频的扩散模型,通过对静止图像的条件化生成短视频。模型下载地址:https://top.aibase.com/tool/stable-video-diffusion-1-1-image-to-video相较于前一代,SVD1.1主要变化包括:站长网2024-02-05 10:52:340002英国部长们敦促保护创意人员作品被AI公司使用
重点:⦁上议院委员会表示,版权法不足,科技公司不得许可使用内容⦁AI公司非法使用内容培训大型语言模型,导致创作者受损⦁委员会敦促政府采取行动解决版权目标问题上议院一个委员会表示,部长们必须捍卫内容创作者的利益,他们的作品在未经科技公司许可的情况下被用来构建人工智能产品,例如产生“巨额经济回报”的聊天机器人。站长网2024-02-02 17:53:520000王小川称10年后机器智慧会超过人类
百川智能创始人兼CEO王小川近日在接受采访时表示,人工智能的奇点大概会在2033年之前到来。他给出的理由是,人工智能技术的迭代周期成倍递减:专家系统的发展历经40年,学习系统则需要20年时间,而深度学习则在10年内崭露头角,接下来只需要再经历5年、2.5年、1.25年、0.625年的时间,就能够触及新的转折点。站长网2023-05-19 10:47:340000私人订制版ChatGPT——askwise来了 可无上限批量处理文档
Askwise是一款能根据自己知识库定制GPT的AI应用,能处理各种格式的本地文档,提供无上限批量处理,支持双语提问和跨语言回答。Askwise的优点在于文档数量无上限批量处理,文档格式可以是word、pdf、网页等,甚至是飞书妙记转出来的链接。支持双语提问和跨语言回答,能够根据自己的知识库定制GPT,具有很高的灵活性和可定制性。最重要的是,它是免费的。站长网2023-04-24 11:27:200000