创建能够像人类认知一样长时间与环境互动的AI系统一直是人工智能领域的长期研究目标。尽管多模态大语言模型（MLLMs）在开放世界理解方面取得了显著进展，但在连续和同时的流式感知、记忆和推理方面仍然面临巨大挑战。当前的MLLMs受限于其序列到序列的架构，这使得它们难以在处理输入的同时生成响应，类似于无法在感知时思考。此外，依赖长上下文来存储历史数据对于长期互动是不切实际的，因为保留所有信息变得成本高昂且效率低下。
为了解决这些挑战，上海市AI实验室、香港中文大学、复旦大学、中国科学技术大学、清华大学、北京航空航天大学和商汤集团的研究人员提出了一个名为InternLM-XComposer2.5-OmniLive (浦语·灵笔 2.5 OmniLive)的综合多模态系统，它旨在实现长期实时视频和音频交互。这个系统模仿人类的长期认知能力，能够在实时环境中进行感知、记忆和推理。这可以说就是开源版的 ChatGPT 实时视频功能和Gemini 2.0的原生多模态功能。
- GitHub：https://github.com/InternLM/InternLM-XComposer/tree/main/InternLM-XComposer-2.5-OmniLive
- Hugging Face：https://huggingface.co/internlm/internlm-xcomposer2d5-ol-7b
- ModelScope：https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-xcomposer2d5-ol-7b
例如，在一个智能家居环境中，系统通过摄像头和麦克风捕捉到用户询问“今天的天气如何？”系统将通过流式感知模块识别语音查询，多模态长期记忆模块检索与天气相关的视频片段（如窗外的雨景），然后推理模块结合这些信息，告诉用户外面正在下雨，建议带伞。这样的交互展示了系统如何模拟人类的感知、记忆和推理过程，以实现自然和高效的交互体验。
IXC2.5-OL的关键模块
IXC2.5-OL框架包括三个关键模块，每个模块都模拟了人类认知的不同方面：
流式感知模块：
- 功能：实时处理多模态信息（如视频、音频、文本等），并将关键细节存储在记忆中。
- 工作原理：该模块能够接收来自不同传感器的输入，并通过先进的多模态编码器将这些输入转换为可处理的特征表示。它还负责识别和提取输入中的重要信息，并将其传递给记忆模块进行存储。当用户提出查询时，感知模块会触发推理模块，以生成适当的响应。
- 优势：通过实时处理输入，感知模块能够快速适应环境变化，并为后续的推理和记忆提供准确的信息。
多模态长记忆模块：
- 功能：整合短期和长期记忆，将短期记忆压缩为长期记忆，以提高检索效率和准确性。
- 工作原理：该模块负责管理AI系统的记忆库，确保重要的信息不会被遗忘。它使用一种称为“记忆压缩”的技术，将短期记忆中的关键信息逐步压缩并存储为长期记忆。这种压缩不仅减少了存储成本，还提高了检索效率，使得系统能够在长时间内保持对环境的理解。
- 优势：通过有效的记忆管理，系统可以更好地应对复杂的交互场景，并在需要时快速回忆相关信息。
推理模块：
- 功能：响应用户查询并执行推理任务，与感知和记忆模块协调工作。
- 工作原理：推理模块根据用户的查询和感知模块提供的实时信息，结合记忆模块中的历史数据，生成合理的响应。它能够执行复杂的推理任务，如问题解答、决策制定和情境理解。推理模块还能够动态调整其行为，以适应不同的交互场景。
- 优势：通过与感知和记忆模块的紧密协作，推理模块能够提供更加自然和连贯的交互体验，使AI系统能够像人类一样进行持续的认知和推理。
模拟人类认知的连续服务
IXC2.5-OL框架的设计灵感来源于人类认知的连续性和自适应性。它不仅能够在短时间内处理复杂的多模态输入，还能随着时间的推移不断积累和利用历史信息，从而提供更加智能和个性化的服务。通过分离感知、记忆和推理功能，IXC2.5-OL避免了单一模型在处理复杂任务时的瓶颈，实现了更加高效和灵活的多模态互动。
主要功能
- 流式感知模块：实时处理多模态信息，如视频和音频流，并将关键细节存储在记忆中，以响应用户的查询。
- 多模态长期记忆模块：整合短期和长期记忆，将短期记忆压缩成长期记忆，以提高检索效率和准确性。
- 推理模块：响应查询并执行推理任务，与感知和记忆模块协调工作。
主要特点
- 实时交互：能够同时处理输入和生成响应，类似于人类在感知时能够同时思考的能力。
- 记忆管理：通过压缩短期记忆到长期记忆中，有效地管理大量历史数据，避免成本和效率问题。
- 模块化设计：借鉴专家通用AI的概念，采用解耦的流式感知、推理和记忆机制。
工作原理
IXC2.5-OL系统通过三个关键模块协同工作：
- 流式感知模块：使用视频和音频模型分别处理流媒体输入，编码信息并存储关键细节。
- 多模态长期记忆模块：将视频片段编码为短期记忆，并整合到长期记忆中，以便检索与问题相关的视频片段。
- 推理模块：基于检索的记忆和用户提供的查询生成响应。
应用前景
IXC2.5-OL框架的应用前景非常广泛，特别是在需要长时间与环境互动的场景中，如智能家居、自动驾驶、虚拟助手和教育领域。通过模拟人类认知，IXC2.5-OL能够为用户提供更加自然、流畅和个性化的交互体验，推动AI技术向更加智能化的方向发展。
评论0