多模态模型

谷歌发布一款名为 Gemini 2.5 Computer Use 的新型 AI 模型，能够通过浏览器窗口执行点击、滚动、输入文本等交互操作，帮助用户在那些没有开放 API 的网站上自动完成任务。 这项...

在人机交互日益复杂的今天，一个长期被忽视的问题是： 我们能让AI像人类一样“使用”计算机吗？ 不是生成文本或识别图像，而是真正理解屏幕上的按钮、输入框、菜单，并通过点击、滑动、输入等动作完成任务——这...

上海AI实验室InternVL项目组推出 InternVL3.5，这是一个开源的多模态大语言模型（MLLM）系列，旨在提升模型在多功能性、推理能力和效率方面的表现。 GitHub：https://gi...

当前主流多模态基础模型在文本、图像理解、推理和生成任务上已取得显著进展，但在空间智能（Spatial Intelligence）方面仍存在系统性短板。具体表现为： 对物体尺度、距离、比例的估计不准确 ...

阿里达摩院、湖畔实验室和浙江大学的研究人员推出视频多模态大语言模型RynnEC，专为具身认知任务设计。它通过结合区域编码器和掩码解码器，能够灵活地处理视频中的区域级交互，从而为具身代理提供对物理世界的...

在机器人技能学习中，视觉感知是决策与操作的基础。然而，当前大多数方法依赖2D彩色图像作为输入——这种模式虽能捕捉纹理和颜色，却难以准确理解物体的距离、大小、形状等关键几何信息。 相比之下，人类在与环境...

让机器人叠衣服，听起来简单，做起来极难。 布料柔软、易变形，同一件T恤每次摆放的形态都不同。这种高度的可变性使得机器人难以像抓取刚性物体那样，靠预设动作完成操作。更别说还要应对不同款式——无袖、短袖...

苹果近期发布了 FastVLM系列视觉语言模型，并首次引入其自研混合视觉编码器 FastViTHD。该模型解决当前多模态系统在处理高分辨率图像时面临的效率瓶颈，尤其在移动端和实时交互场景中展现出显著优...

滑铁卢大学与加拿大国家研究院的研究团队提出了一项极具前瞻性的项目：NeuralOS —— 一个通过神经生成模型模拟操作系统图形用户界面（GUI）的框架。 项目主页：https://neural-os...

蚂蚁集团正式开源医学智能体 MedResearcher-R1，同时对外公开模型及合成数据生成方法。这一智能体聚焦医学领域AI推理的核心痛点，通过“知识图谱构建-轨迹生成-评估验证”的全流程框架，为领域...

IBM Research 正式发布 Granite Docling-258M，一款基于 IDEFICS3 架构构建的新型多模态图像-文本到文本模型，专为高效、准确的文档理解与结构化转换而设计。 Git...

苹果近期推出了新一代轻量级图像-文本模型家族 —— MobileCLIP2，在保持高精度的同时，显著降低模型体积与推理延迟，专为移动设备上的实时多模态理解任务而设计。 GitHub：https://g...