多模态模型

阿里通义团队为大家送上圣诞节大礼，开源了第一个视觉推理模型QVQ，其中V代表视觉。它只需读取一张图像和一个指令，开始思考，适时反思，持续推理，最终自信地生成预测！然而，它仍处于实验阶段，这个预览版本仍...

图形用户界面（GUI）是用户与软件交互的核心。然而，构建能够有效导航GUI的智能代理一直是一个持续的挑战。传统方法在适应性方面存在不足，尤其是在处理复杂布局或GUI频繁变化时，这些问题限制了自动化GU...

英伟达在CES2025上宣布推出 NVIDIA Cosmos 平台，该平台包含先进的世界基础生成模型、高级分词器、防护栏和加速视频处理管道，旨在推动自动驾驶汽车（AV）和机器人等物理 AI 系统的发展...

中国科学院计算技术研究所智能信息处理重点实验室（ICT/CAS）、中国科学院人工智能安全重点实验室和中国科学院大学的研究人员推出高效大型多模态模型LLaVA-Mini，旨在通过最小化视觉令牌（visi...

加州大学默塞德分校、字节跳动、武汉大学和北京大学的研究人员推出新型多模态大语言模型Sa2VA，它将SAM-2视频分割模型与LLaVA视觉-语言模型相结合，实现了对图像和视频的密集、基于语义的理解。Sa...

MiniCPM-o 2.6 是面壁智能推出的 MiniCPM-o 系列中最新且功能最强大的模型。该模型基于 SigLip-400M、Whisper-medium-300M、ChatTTS-200M 和...

PaliGemma 是谷歌推出的新一代视觉语言模型家族，其设计灵感来源于PaLI-3，能够接收图像与文本输入并生成文本输出。PaliGemma建立在包括SigLIP视觉模型和Gemma语言模型在内的开...

字节跳动与清华大学的研究人员推出新型自动化 GUI（图形用户界面）交互模型 UI-TARS，它是一种原生的 GUI 代理模型，能够通过感知屏幕截图作为输入，并执行类似人类操作的交互任务（如键盘输入和鼠...

Hugging Face团队最近发布了两款名为SmolVLM-256M和SmolVLM-500M的新模型，它们被宣称为能够分析图像、短视频以及文本的最小AI模型。这两款模型特别设计用于在资源受限的设备...

阿里巴巴达摩院的研究人员推出新型多模态基础模型VideoLLaMA 3，旨在提升图像和视频理解的性能。该模型的核心设计理念是“以视觉为中心”（vision-centric），通过高质量的图像-文本数据...

百川智能宣布其最新研发的Baichuan-Omni-1.5开源全模态模型正式上线。这款模型支持文本、图像、音频和视频等多种格式的数据处理，并具备文本与音频的双模态生成能力。Baichuan-Omni-...

深度求索（DeepSeek-AI）在DeepSeek-R1爆火后，又在今天释出了多模态理解与生成模型 Janus-Pro，它是之前工作 Janus 的升级版本，目前释出了两个版本Janus-Pro-7...