多模态模型

复旦大学自然语言处理实验室近期推出了SpeechGPT 2.0-preview，这是他们为实现情景智能而开发的第一个拟人化实时交互系统。基于百万小时级别的语音数据训练而成，这款端到端的语音大模型不仅能...

在互联互通的世界中，跨多种语言和媒介的有效沟通变得越来越重要。多模态AI在结合图像和文本以实现不同语言的无缝检索和理解方面面临着诸多挑战。现有的模型在英语中表现良好，但在其他语言中则表现不佳。此外，同...

Jina AI正式发布 jina-embeddings-v4 —— 一款全新的38亿参数通用嵌入模型，支持文本与图像输入，适用于多种检索任务。该模型在多个基准测试中表现优异，特别是在处理表格、图表等视...

Magma 是由微软研究院推出的一款面向多模态AI代理的基础模型，为一系列智能任务提供强大的支持。它不仅具备视觉-语言（VL）模型的理解能力（即语言智能），还拥有在视觉空间世界中规划和执行动作的能力...

在数字化时代，自动化与 Web 内容交互的需求日益增长。然而，现有的解决方案往往面临资源密集型、任务特定化以及缺乏透明性等问题。这些问题限制了它们的广泛适用性和社区参与度。 GitHub：https...

随着多模态大语言模型（MLLMs）的发展，扩展到单一领域之外的能力对于满足更通用和高效AI的需求至关重要。然而，之前的全模态模型在语音处理方面存在不足，忽视了其与视觉、文本等其他模态的深度整合。为了解...

Holo1 是由 HCompany 开发的一款专为网络代理系统设计的 动作视觉-语言模型（VLM），作为 Surfer-H 网络代理的核心组件之一，它具备像人类用户一样与网页界面交互的能力。 模型：h...

InternVL 2.5 是由上海人工智能实验室、商汤科技研究院、清华大学、南京大学、复旦大学、香港中文大学和上海交通大学等多家机构联合推出的一款先进的多模态大语言模型（MLLM）。该模型基于此前发布...

近年来，随着机器学习技术的飞速发展，视觉-语言模型（VLM）的需求不断增加。这些模型能够处理图像和文本的组合任务，如图像描述、问答和故事生成等。然而，大多数现有的VLM需要大量的计算资源和内存，这限制...

微软的 OmniParser 发布了 V2 更新，这一版本的核心目标是将任何大语言模型（LLM）转化为能够理解和交互图形用户界面（GUI）的智能体。相比前一代，OmniParser V2 在检测更小可...

深度求索（DeepSeek-AI）在DeepSeek-R1爆火后，又在今天释出了多模态理解与生成模型 Janus-Pro，它是之前工作 Janus 的升级版本，目前释出了两个版本Janus-Pro-7...

中国科学院计算技术研究所智能信息处理重点实验室（ICT/CAS）、中国科学院人工智能安全重点实验室和中国科学院大学的研究人员推出高效大型多模态模型LLaVA-Mini，旨在通过最小化视觉令牌（visi...