多模态模型

随着多模态大模型的不断发展，我们对技术边界的认知也在持续被刷新。从最初的 QwenVL 到如今的 Qwen2.5 VL，我们在提升模型图像理解能力方面不断取得进步。 项目主页：https://qwen...

在物理AI（Physical AI）系统的开发中，模拟真实世界的动态变化至关重要。为此，英伟达推出了 Cosmos-Predict2，作为其 Cosmos 世界模型 的最新演进版本，专为生成具有物理感...

卡内基梅隆大学的研究团队推出了一款名为 LegoGPT 的AI模型，它能够通过简单的文本输入生成独特的乐高设计。这一工具不仅展示了AI在创意领域的潜力，还为乐高爱好者提供了一个全新的设计方式。 项目主...

腾讯AI实验室联合马里兰大学帕克分校、华盛顿大学圣路易斯分校的研究团队，共同发布了新型视觉-语言模型（VLM）——Vision-SR1。该模型聚焦于解决传统VLM的核心痛点，通过创新的“自我奖励机制...

字节跳动推出多模态模型Vidi，专门用于视频理解和编辑。Vidi 的主要目标是支持高质量、大规模视频内容的创作，通过处理原始输入材料（如未编辑的视频片段）和编辑组件（如视觉效果），帮助用户更高效地完成...

阿里通义实验室推出多模态深度研究智能体WebWatcher，通过结合视觉和语言推理能力，解决复杂的多模态信息检索问题。 GitHub：https://github.com/Alibaba-NLP/We...

在多模态大语言模型（MLLMs）的研究与应用中，视觉与文本模态的融合正在不断拓展其边界，从图像描述到视觉问答，再到复杂文档的解读，这些模型展现出了强大的能力。然而，这一领域的进一步发展面临着诸多挑战...

字节跳动与香港大学联合发布 Mini-o3 ——一个具备强大图像理解与长程多轮交互能力的开源多模态模型。该模型能够生成类似 OpenAI o3 风格的代理行为轨迹，在复杂视觉搜索任务中实现数十轮持续推...

在大模型从“能说”向“能看、能听、能理解”演进的当下，多模态统一模型（Omni-Modal LLMs）正成为技术前沿。然而，训练一个同时处理文本、图像、语音和视频的全能模型，仍面临工程复杂、扩展困难...

要让机器人走进真实世界，完成诸如“把苹果放进桌上的红碗”这样的任务，仅靠预设程序远远不够。它必须具备两项关键能力： 理解复杂语义——分辨“红碗”是颜色还是材质？“桌上”是否包含边缘？ 生成精确动作...

艾伦AI研究所正式推出了 olmOCR，这是一款高性能的开源工具包，专为将 PDF 和文档图像转换为干净、结构化的纯文本而设计。 GitHub：https://github.com/allenai/o...

在图形用户界面（GUI）自动化任务中，让多模态大语言模型（MLLM）准确执行自然语言指令，远不只是“点击坐标”那么简单。真正的挑战在于：既要精准定位界面上的元素（空间对齐），又要正确理解指令背后的意图...