AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：视频生成×
5月15日
14:41
11:07
arXiv cs.LG@Xiang Fan, Yuheng Wang, Bohan Fang, Zhongzheng Ren, Ranjay Krishna
精选58
RefDecoder 是一种参考条件视频 VAE 解码器，通过将高保真参考图像信号直接注入解码过程来改善视频生成中的细节丢失和不一致问题。它使用轻量级图像编码器将参考帧映射为高维 token，并在解码器每个上采样阶段与去噪后的视频潜在 token 协同处理。在 Inter4K、WebVid 和 Large Motion 基准测试上，RefDecoder 相比无条件基线实现了最高 +2.1dB PSNR 的提升。该方法可直接替换现有视频生成系统中的解码器而无需额外微调，并在 VBench I2V 基准上全面提升了主体一致性、背景一致性和整体质量分数。此外，RefDecoder 还能泛化到风格迁移和视频编辑优化等多种视觉生成任务。
论文视频生成VAE解码器条件解码参考注意力Wan 2.1
推荐理由：视频生成中解码器长期被忽视，RefDecoder 用轻量级条件注入解决了细节丢失的痛点，做视频生成或编辑的团队可以直接替换现有系统试试，效果立竿见影。
10:54
arXiv cs.AI@Jiaxin Wu, Yihao Pi, Yinling Zhang, Yuheng Li, Xueyan Zou
精选58
生成式视频模型常被当作隐式世界模型，但现有评估方法依赖人工判断或学习评分器，难以诊断几何错误。研究者提出PDI-Bench框架，通过分割、点跟踪和单目重建，将生成视频中的物体提升到3D世界坐标，计算尺度-深度对齐、3D运动一致性和3D结构刚性三个维度的残差。配套的PDI-Dataset覆盖多种几何约束场景，测试发现当前最先进的视频生成器存在一致的几何特定失败模式，这些模式不被常见感知指标捕获。该框架为迈向物理可信的视频生成提供了诊断信号。
论文视频生成世界模型几何一致性评估框架3D重建
推荐理由：视频生成模型常被当作世界模型，但几何一致性是硬伤——PDI-Bench用定量方法暴露了现有模型在3D结构上的系统性失败，做视频生成或世界模型研究的团队值得用它来诊断自己的模型。
10:51
arXiv cs.AI@Ruozhen He, Meng Wei, Ziyan Yang, Vicente Ordonez
精选58
多镜头视频生成面临跨镜头实体（角色、物体、场景）一致性难题，现有评估方法覆盖有限且指标简单。研究者推出 EntityBench 基准，包含 140 个剧集（2491 个镜头），按难易分三档，最长 50 个镜头、13 个跨镜头角色、8 个场景、22 个物体，并设计三支柱评估套件（画质、指令遵循、跨镜头一致性），仅通过保真门控的实体才计入一致性评分。作为基线，提出 EntityMem 记忆增强系统，在生成前将已验证的实体视觉参考存入持久记忆库。实验表明现有方法跨镜头一致性随镜头间隔急剧下降，而 EntityMem 在角色保真度（Cohen's d = +2.33）和出现率上最优。代码和数据已开源。
论文视频生成实体一致性基准测试记忆增强多镜头叙事
推荐理由：视频生成领域终于有了严肃的实体一致性基准，做多镜头叙事生成的研究者可以直接用这套评估体系，EntityMem 的记忆方案也值得复现试试。
00:24
5月13日
09:11
09:11
09:11
00:33
MiniMax: News（资讯）
40
MiniMax 在其官网展示了最新模型和产品的更新，包括文本模型 MiniMax M2.7 (NEW)、语音模型 MiniMax Speech 2.8 (NEW)、视频模型 MiniMax Hailuo 2.3 / 2.3 Fast (NEW) 以及音乐模型 MiniMax Music 2.6 和 2.5+ (NEW)。此外，AI 原生应用 Agent 也被标注为新产品状态。这些更新表明 MiniMax 正在快速迭代其多模态 AI 能力，涵盖文本、语音、视频和音乐生成领域。对于开发者和企业用户，这意味着可以通过开放平台获得更先进的 AI 能力，用于构建多样化的应用场景。
AI产品MiniMax多模态文本生成语音合成视频生成
推荐理由：此次更新体现了 MiniMax 在 AI 多模态领域的持续投入，特别是 M2.7 和 Speech 2.8 的推出可能带来文本理解和语音合成性能的提升，值得关注其在开放平台上的实际表现。
5月12日
18:40
18:07
17:19
17:19
5月11日
22:18
22:17
22:17
22:17
22:17
22:17
22:17
22:15
22:15
阿里云 Alibaba Cloud@alibaba_cloud
65
阿里云宣布其AI视频生成模型HappyHorse在Model Studio上线，声称在基准测试中排名第一，具备高速生成和原生音视频同步能力。该模型强调无需排队等待，相比其他模型渲染更高效。这标志着阿里云在视频生成领域的重大进展，可能推动AI视频生成在实时应用中的普及。
AI产品视频生成阿里云HappyHorse基准测试音视频同步
推荐理由： HappyHorse的发布表明阿里云在视频生成赛道上的快速跟进，其高速和音视频同步特性对直播、短视频等场景有实际价值，但需关注其与Sora等产品的实际性能对比及商用门槛。
22:15
11:18