视频版ControlNet开源 CoDeF靠提示词就能精准切换画风
最新视频处理算法 CoDeF 发布不久就引起网友热议,它能将原视频改变画风但保持其他细节不变。该算法由全华人团队开发,已在 GitHub 上开源。
CoDeF 能根据提示词精准控制视频元素改变,比如将风景纪录片秒变为国风水墨大作。它还能跟踪水流动向和穗子摆动频率,细节处理使效果更逼真。此外,CoDeF 也可以让电影角色一键变老,将皱纹添加到脸上而其他细节不受影响。
CoDeF 是一种创新的视频处理方法,通过规范内容场和时间变形场的优化,实现视频重构和各种图像算法在视频上的应用扩展,该算法能够实现更加真实时、强细节、高保真的视频重建。与现有的视频处理方法相比,CoDeF 具有更好的跨帧一致性,并能够处理非刚性物体。

论文地址:
https://arxiv.org/abs/2308.07926
项目地址:
https://qiuyu96.github.io/CoDeF/
该方法通过粒度逐步细化的训练过程,平衡了规范图像的自然性和重建的还原性。实验结果表明,该方法的重建质量显著提高,PSNR 增加了约4.4,规范图像的自然性也有明显改善。
此外,该方法还可以应用于视频超分辨率、视频对象分割、视频关键点跟踪等图像算法的任务,并保持卓越的时间一致性。总的来说,该视频重建算法具有较强的性能,展示了其在视频处理领域的潜力。
特点:
1. CoDeF 是一种全新的视频表示方法,由一个规范内容场和一个时间变形场组成。
2. 规范内容场聚合整个视频中的静态内容,时间变形场记录了从规范图像到每个单独帧的变形过程。
3. 可以通过优化这两个场来重构目标视频,通过精心设计的渲染流程实现。
4. 引入了一些正则化方法,使规范内容场从视频中继承语义信息(例如物体形状)。
5. CoDeF 支持将图像算法应用于视频处理,只需将算法应用于规范图像,再借助时间变形场将结果传播到整个视频中。
6. CoDeF 能够将图像到图像的转换扩展到视频到视频的转换,以及将关键点检测扩展到关键点跟踪,无需任何训练。
7. 通过在只有一张图像上应用算法的扩展策略,CoDeF 在处理的视频中实现了更好的跨帧一致性,甚至可以跟踪非刚性物体如水和烟雾。
京东集团副总裁:将在今年发布千亿级产业大模型 「京东版」ChatGPT
日前由中国人工智能学会主办的「人工智能大模型技术高峰论坛」主论坛在杭州萧山启幕。论坛上,京东集团副总裁何晓冬发表演讲。何晓冬认为,ChatGPT是深度学习不断发展的结晶,是第一款真正意义上的AI原生产品。由于ChatGPT能实现人类意图来自于机器学习、神经网络以及Transformer模型的多种技术模型积累,可以说ChatGPT升级了AI创新范式。站长网2023-04-12 11:49:450001百度智能云六大智能产品基于文心一言升级 将在安全评估后上线
据36Kr消息,百度智能云日前举行闭门技术交流会,表示百度智能云大模型平台正在内测,除了提供包括文心一言的文心大模型以外,还支持第三方大模型,并提供AI应用的工具链及整套环境。六大智能产品系列——包括金融行业应用、政务行业应用、智能创作平台、智能客服、企业知识管理、数字人直播平台将基于文心一言升级,未来将在安全评估完成后上线。站长网2023-04-26 09:13:560001FF第二阶段共创交付正式启动 计划8月中旬交付FF 91
FF(FaradayFuture)今天宣布第二阶段共创交付正式启动,并将向首批用户交付FF912.0FuturistAlliance。同时,FF还顺利完成了FF912.0FuturistAlliance的所有合规性测试。站长网2023-08-01 16:36:550000人工智能应用的繁荣增长推动台积电销售额超过预期
台积电(TSMC)在人工智能应用需求增长推动下的销售超过预期,展现出行业领先企业的芯片制造能力。根据彭博社的计算,第二季度收入总额为新台币4,808亿元(约合153亿美元)。虽然与去年同期相比下降了10%,但跌幅没有预期那么大,超过分析师的平均预估收入新台币4,762亿元。6月份的销售额为新台币1,564亿元。站长网2023-07-13 07:40:530000Open AI 推出 ChatGPT for iOS ,支持通过苹果 App Store 订阅Plus
OpenAI发布了供iOS使用的ChatGPT,可以通过苹果应用商店订阅Plus服务,同时宣布即将支持安卓订阅。似乎那些在网页版被禁止的机房IP可以在ChatGPTforiOSApp中不受限制地使用。0001