Python 库

oLLM 是一个轻量级的 Python 库，用于大型上下文 LLM 推理，基于 Huggingface Transformers 和 PyTorch 构建。它使运行像 gpt-oss-20B、qwen3-next-80B 或 Llama-3.1-8B-Instruct 这样的模型在 100k 上下文下使用约 200 美元的消费级 GPU（8GB VRAM）成为可能。不使用量化——仅使用 fp16/bf16 精度。

any-agent 是 Mozilla AI 开发的一个工具，简化 AI 代理框架的使用。开发者可以通过一个接口调用多种框架，如 ADK Python 和 LangGraph，无需学习每个框架的特定 API。这对实验性项目或实际部署非常有用，支持模型如 gpt-4.1-nano，并提供工具如网络搜索。