多模态大语言模型

清华大学和字节跳动的研究人员推出多模态大语言模型ChatTS ，专门用于时间序列分析。它通过自然语言命令帮助用户快速理解时间序列数据，执行日常任务，并处理复杂的推理问题。ChatTS 的核心优势在于其...

英伟达和延世大学的研究人员推出多模态大语言模型Omni-RGPT，旨在统一图像和视频的区域级理解。Omni-RGPT通过一种新颖的区域表示方法——Token Mark，实现了对图像和视频中特定区域的深...

澳门大学、清华大学、西北工业大学和山东大学的研究人员推出DeepPerception，在多模态大语言模型（MLLMs）中推进类似R1的认知视觉感知，用于知识密集型视觉定位。这项研究旨在通过结合知识和推...

传统视觉定位方法主要关注单图像场景，依赖于简单文本引用。然而，在现实世界中，处理隐含和复杂的指令，尤其是在涉及多图像的情况下，是一个重大挑战，主要原因是缺乏跨多模态上下文的高级推理能力。 项目主页：h...

在多模态大语言模型（MLLMs）的研究与应用中，视觉与文本模态的融合正在不断拓展其边界，从图像描述到视觉问答，再到复杂文档的解读，这些模型展现出了强大的能力。然而，这一领域的进一步发展面临着诸多挑战...

北卡罗来纳大学教堂山分校的研究团队，针对多模态大语言模型（MLLMs）的空间视觉推理能力展开专项测试——聚焦“图像旋转角度识别”任务（判断图像是否旋转0°、90°、180°、270°）。 GitHub...