AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：多模态×
5月15日
10:52
arXiv cs.AI@Ziyu Guo, Rain Liu, Xinyan Chen, Pheng-Ann Heng
精选58
ATLAS 提出了一种新框架，用一个离散的“功能标记”（functional token）同时作为代理操作和潜在视觉推理单元，避免了传统方法中生成中间视觉内容的高计算成本。该标记无需视觉监督，保持标准词汇表格式，可通过下一个词预测生成，兼容标准 SFT 和 RL 训练。针对强化学习中功能标记稀疏的问题，引入 Latent-Anchored GRPO 稳定训练。实验表明 ATLAS 在挑战性基准上表现优异且可解释性强。这项工作为视觉推理研究提供了新范式。
论文视觉推理功能标记强化学习ATLAS多模态
推荐理由：ATLAS 用单个词解决视觉推理中计算开销和泛化难题，做多模态或视觉推理的开发者可以直接参考其设计思路，值得关注。
5月14日
18:29
15:02
5月13日
13:05
10:25
09:12
09:12
09:12
08:42
02:41
00:33
MiniMax: News（资讯）
40
MiniMax 在其官网展示了最新模型和产品的更新，包括文本模型 MiniMax M2.7 (NEW)、语音模型 MiniMax Speech 2.8 (NEW)、视频模型 MiniMax Hailuo 2.3 / 2.3 Fast (NEW) 以及音乐模型 MiniMax Music 2.6 和 2.5+ (NEW)。此外，AI 原生应用 Agent 也被标注为新产品状态。这些更新表明 MiniMax 正在快速迭代其多模态 AI 能力，涵盖文本、语音、视频和音乐生成领域。对于开发者和企业用户，这意味着可以通过开放平台获得更先进的 AI 能力，用于构建多样化的应用场景。
AI产品MiniMax多模态文本生成语音合成视频生成
推荐理由：此次更新体现了 MiniMax 在 AI 多模态领域的持续投入，特别是 M2.7 和 Speech 2.8 的推出可能带来文本理解和语音合成性能的提升，值得关注其在开放平台上的实际表现。
00:33
00:33
00:33
5月12日
21:55
21:55
19:11
arXiv cs.AI@Ishpuneet Singh, Gursmeep Kaur, Uday Pratap Singh Atwal, Guramrit Singh, Gurjot Singh, Maninder Singh
45
本文发布了BEACON（Behavioral Engine for Authentication & Continuous Monitoring），一个大型多模态行为数据集，包含28名玩家79次《Valorant》游戏会话的430GB同步数据，涵盖鼠标动力学、键盘事件、网络包、屏幕录制、硬件元数据和游戏配置。该数据集旨在填补现有行为认证基准在规模、模态和上下文同步方面的不足，适用于连续认证、行为画像、用户漂移和多模态表示学习研究。数据集和代码已在Hugging Face和GitHub上开源，为下一代行为指纹和网络安全模型提供可复现的基准。
论文多模态行为认证数据集AI安全
推荐理由：该数据集以高精度、高认知负担的战术射击游戏为测试场景，为行为生物特征研究提供了真实且严苛的基准，对AI安全和连续认证领域具有重要参考价值。
19:11
arXiv cs.AI@Anna C. Doris, Jacob Thomas Sony, Ghadi Nehme, Era Syla, Amin Heyrani Nobari, Faez Ahmed
65
CADBench 是一个统一的多模态基准测试，用于评估从图像或3D观测中恢复可编辑CAD程序的能力。该基准包含18,000个样本，涵盖六个基准家族（基于DeepCAD、Fusion 360等）、五种输入模态（如网格、渲染图）和六项指标（几何保真度、可执行性等）。评估了11个CAD专用及通用视觉语言系统，生成超过140万CAD程序。结果显示，在理想输入下专用模型优于通用模型，但模型在几何复杂度和模态变化下表现脆弱，且指标排名不一致。该基准旨在成为可编辑3D重建和多模态CAD理解的诊断工具。
论文CAD程序生成多模态基准测试3D重建工程自动化
推荐理由：为学界和工业界提供了一个标准化的评估框架，有助于澄清现有CAD程序生成方法的优劣及失败模式，尤其对工程设计自动化领域具有直接参考价值。
19:10
arXiv: OpenAI@David F. Ramirez, Tim L. Overman, Kristen Jaskie, Marv Kleine, Andreas Spanias
60
该研究探索将大型语言-视觉模型（LLVM）应用于遥感SAR图像的自动目标识别（ATR）。基于MSTAR公共数据集，研究者构建了包含描述性文本和问答对的训练基准，并利用CLIP和LLaVA等模型进行参数高效微调。实验在识别军事车辆类型等细微特征上达到98%的准确率，显著提升了机器辅助遥感ATR在复杂环境下的能力。这项工作展示了LLVM在合成孔径雷达分析中的潜力，为军事和情报领域的自动化目标识别提供了新途径。
论文多模态SAR图像自动目标识别LLaVACLIP军事/遥感
推荐理由：该研究首次将LLVM迁移至SAR图像分析，并基于MSTAR数据集建立带标注的ATR基准，为多模态模型在遥感军事应用中的落地提供了可复现的方法论与评估框架。
17:35
17:19
17:19
歸藏(guizang.ai)@op7418
75
前 OpenAI CTO Mira 创立的公司 Thinking Machines 发布了一款名为“交互模型”的创新 AI。该模型能原生处理音频、视频、文本等多种模态，并且实时思考、响应和行动。区别于传统的 Agent 架构将不同模型串联，它将所有模态统一在一个模型中，实现任意模态下的实时交互，用户可以随时打断、补充，AI 会持续关注用户状态并输出结果。模型由前台交互模型（每200毫秒处理输入并输出）和后台推理模型（处理复杂推理和长任务）两部分组成，最终提供实时交互和重度任务处理的能力。
AI模型多模态交互模型Thinking Machines实时
推荐理由：该模型打破了传统 AI 交互的固定对话模式，实现了真正的多模态实时交互，可能重新定义人机交互的标准。对于从事 AI 产品和交互设计的从业者而言，这是一个值得关注的技术方向。
5月11日
22:18
22:18
22:18
22:17
22:16
Google AI@GoogleAI
65
在Google I/O大会前11天，Google AI本周密集发布6项更新：Google Health应用集成Gemini健康教练，结合可穿戴设备、健身应用和医疗记录提供主动健康指导；Gemma 4模型引入多令牌预测（MTP）机制，工作流速度提升达3倍；NotebookLM新增自动来源组织和可定制思维导图；Gemini API文件搜索工具支持多模态、自定义元数据和页面引用；Gemini API新增Webhook推送通知功能替代轮询；Nano Banana、Veo和Google Photos Remix等AI功能上线Google TV。
行业Gemini谷歌I/O多模态智能体编程效率
推荐理由：此次更新覆盖健康、编程、搜索、文档协作和智能电视等多个场景，显示Google正在将AI能力系统化整合至其生态产品矩阵，对开发者生态和终端用户体验均产生实质影响。
22:16
22:15
11:43
arXiv cs.LG（学术论文）
60
STARFlow2提出了一种基于自回归归一化流（TarFlow）的统一多模态生成框架，用于处理交错的文本-图像序列。它通过在Pretzel架构中垂直交错预训练VLM流和TarFlow流，并采用深度-浅层流设计和统一的FAE潜空间，实现了文本和视觉输出的缓存友好型生成。实验表明，STARFlow2在图像生成和多模态理解基准上表现强劲，证明了自回归流可以替代扩散模型作为统一多模态建模的基础。这项工作解决了因果文本生成和迭代视觉去噪之间的结构不匹配问题，为更自然的统一生成提供了新范式。
论文多模态自回归流图像生成统一模型文本-图像
推荐理由：STARFlow2展示了自回归归一化流在多模态统一生成中的潜力，为替代基于扩散的图像生成方法提供了新思路，对多模态模型的设计和效率优化有参考价值。