开源框架OpenDeepSearch,挑战Perplexity和ChatGPT搜索

Sentient Foundation的研究团队近日发布了开源深度搜索Open Deep Search,简称ODS,这是一款开源框架,能够匹敌如Perplexity和ChatGPT Search等专有AI搜索解决方案的质量。ODS为大语言模型(LLMs)配备了先进的推理代理,这些代理可以利用网络搜索和其他工具来回答问题。

对于那些寻求可定制AI搜索工具的企业而言,ODS提供了一个高性能、引人注目的替代方案,超越了封闭的商业解决方案。

AI搜索领域的现状

现代AI搜索工具如Perplexity和ChatGPT Search通过结合LLM的知识与推理能力以及网络搜索功能,能够提供实时更新的答案。然而,这些解决方案通常是专有且闭源的,难以进行定制化或用于特殊应用。

Sentient联合创始人希曼舒·泰亚吉(Himanshu Tyagi)告诉VentureBeat:“AI搜索领域的大多数创新都发生在闭门造车的情况下。开源项目在可用性和性能方面历来落后。ODS旨在缩小这一差距,证明开源系统能够在质量、速度和灵活性上与闭源系统竞争,甚至超越它们。”

开源深度搜索(ODS)架构

开源深度搜索(ODS)被设计为一个即插即用系统,可以与开源模型(如DeepSeek-R1)和闭源模型(如GPT-4o和Claude)集成。

ODS包含两个核心组件,均利用所选的基础LLM:

开放搜索工具(Open Search Tool)

该组件接收用户查询,并从网络中检索信息以作为上下文提供给LLM。开放搜索工具执行几个关键操作以优化搜索结果并确保相关性:

  1. 扩展搜索范围:通过重新表述原始查询,捕捉多样化视角。
  2. 提取关键内容:从搜索引擎获取结果,提取顶级结果(摘要和链接页面)中的上下文,并应用分块和重排序技术以过滤最相关内容。
  3. 优先处理可靠来源:对特定来源(如维基百科、ArXiv和PubMed)进行自定义处理,并在遇到冲突信息时优先选择可靠来源。
开源框架OpenDeepSearch,挑战Perplexity和ChatGPT搜索

开放推理代理(Open Reasoning Agent)

该代理接收用户的查询,并利用基础LLM及各种工具(包括开放搜索工具)生成最终答案。Sentient在ODS中提供了两种不同的代理架构:

  • ODS-v1:此版本采用ReAct代理框架结合**思维链(Chain-of-Thought,CoT)**推理。ReAct代理将推理步骤(“思考”)与行动(如使用搜索工具)和观察(工具结果)交替进行。ODS-v1迭代使用ReAct以得出答案。如果ReAct代理表现不佳(由独立的评判模型决定),它将默认切换到CoT自我一致性模式,从中采样多个CoT响应并选择出现频率最高的答案。
  • ODS-v2:此版本利用代码链(Chain-of-Code,CoC)和基于Hugging Face SmolAgents库实现的CodeAct代理。CoC利用LLM生成和执行代码片段的能力解决问题,而CodeAct则通过代码生成规划行动。ODS-v2能够协调多个工具和代理,从而处理需要复杂规划和多次搜索迭代的任务。

“虽然像ChatGPT或Grok这样的工具通过对话代理提供‘深度研究’功能,但ODS运作在另一个层面——更类似于Perplexity AI背后的基础设施——提供智能检索的基础架构,而不仅仅是总结。”泰亚吉表示。

开源框架OpenDeepSearch,挑战Perplexity和ChatGPT搜索

性能与实际效果

Sentient团队将ODS与开源模型DeepSeek-R1搭配,并与流行闭源竞争对手(如Perplexity AI和OpenAI的GPT-4o搜索预览版)以及独立LLM(如GPT-4o和Llama-3.1-70B)进行了对比测试。他们使用了FRAMES和SimpleQA问答基准测试,并对其进行了调整以评估支持搜索功能的AI系统的准确性。

开源框架OpenDeepSearch,挑战Perplexity和ChatGPT搜索

测试结果表明,ODS具有极强的竞争力。无论是ODS-v1还是ODS-v2,当与DeepSeek-R1结合时,都超越了Perplexity的旗舰产品。值得注意的是,ODS-v2与DeepSeek-R1的组合在复杂的FRAMES基准测试中超过了GPT-4o搜索预览版,并在SimpleQA测试中几乎与其持平。

一个有趣的观察是框架的效率。ODS的推理代理学会了审慎使用搜索工具,通常会根据初始结果的质量判断是否需要进一步搜索。例如,在较简单的SimpleQA任务中,ODS-v2使用的网络搜索次数少于在更复杂、多跳查询的FRAMES任务中的搜索次数,从而优化了资源消耗。

对企业的影响

对于希望获得基于实时信息的强大AI推理能力的企业来说,ODS提供了一个透明、可定制且高性能的替代方案,取代了专有的AI搜索系统。插入首选的开源LLM和工具的能力使组织对其AI堆栈拥有更大的控制权,并避免了供应商锁定。

泰亚吉说:“ODS的设计考虑了模块化,它会根据提示中提供的描述动态选择要使用的工具。这意味着它可以流畅地与不熟悉的工具交互——只要这些工具有良好的描述——而无需事先接触。”

不过,他也承认,当工具集变得过于臃肿时,ODS的性能可能会下降,“因此,精心设计至关重要。”
Sentient已在GitHub上发布了ODS的代码。

“最初,Perplexity和ChatGPT的优势在于其先进技术,但随着ODS的推出,我们已经拉平了这一技术竞争的舞台,”泰亚吉说,“我们现在希望通过‘开放输入和开放输出’策略超越它们的能力,使用户能够无缝地将自定义代理集成到Sentient Chat中。”

© 版权声明

相关文章

暂无评论

none
暂无评论...