Together AI

Together AI 自 2022 年成立以来，一直致力于推动开源 AI 的发展。他们的使命是“相信开放透明的 AI 系统将驱动创新，为社会创造最佳成果”，这一点在他们对开源研究、模型和数据集的贡献上得到了充分体现。

核心服务：AI 加速云的全方位支持

Together AI 的核心产品是 AI 加速云，提供生成式 AI 生命周期的端到端解决方案。以下是其主要服务：

无服务器模型：按需付费，灵活高效

用户可以通过 API 或交互平台运行数十种模型，按需付费，无需前期投资。支持的模型包括 DeepSeek R1、Llama 3.3 70B、Qwen 2.5 72B、Qwen Coder 32B 和 Flux Schnell，涵盖聊天、图像生成和代码任务等多种应用场景。这种灵活性使得用户可以根据具体需求选择合适的模型，而无需担心资源浪费。

微调服务：快速定制，完全掌控

Together AI 提供的微调服务允许用户在短短 5 分钟内基于自己的数据微调模型，并将其用于推理。支持全微调和 LoRA 微调，赋予用户完全的模型所有权。这意味着用户可以根据自己的业务需求对模型进行定制，而无需依赖外部服务提供商，从而更好地保护数据隐私和知识产权。

专用端点：私有部署，稳定可靠

对于对性能和隐私有较高要求的用户，Together AI 提供专用端点服务，允许用户在自己的私有 GPU 上运行模型。最短承诺期为一个月，确保用户能够获得快速、稳定的性能，同时满足企业级的安全和合规需求。

GPU 集群：大规模训练，加速创新

Together AI 的 GPU 集群服务为大规模 AI 工作负载提供了完全控制，加速大型模型训练。使用 NVIDIA GB200、H200 和 H100 GPU，定价从每小时 1.75 美元起。这种高性能计算资源的可访问性，使得企业和研究机构能够更高效地进行模型训练和优化，从而加速创新进程。

此外，Together AI 的平台还支持与 OpenAI 兼容的 API，便于用户从封闭模型迁移，减少技术壁垒，进一步提升了平台的易用性和灵活性。

技术优势：Together Inference Engine 的性能优化

Together AI 的技术优势在于其推理引擎——Together Inference Engine，结合研究驱动的创新与部署灵活性。以下是关键优化：

自定义 FP8 推理内核

Together AI 开发了自定义的 FP8 推理内核，比基础 PyTorch 快 75% 以上。这种优化显著提升了推理速度，同时降低了计算成本，使得大规模部署成为可能。

推测解码（Speculative Decoding）

通过新型算法和基于 RedPajama 数据集的草稿模型，Together AI 的推测解码技术能够显著提升吞吐量。这种技术在处理复杂任务时表现出色，能够快速生成高质量的结果。

质量保持量化（Quality-preserving Quantization）

Together AI 的 QTIP 技术能够在加速推理的同时保持准确性。这种量化技术确保了模型在低精度部署时仍能保持高性能，进一步降低了推理成本。

性能指标显示，Together AI 的推理速度比 VLLM 快 4 倍，Llama-3 8B 在全精度下的吞吐量达每秒 400 个标记，且成本比 GPT-4o 低 11 倍。这些数据充分证明了 Together AI 在性能和成本效益方面的优势。

开源与社区参与：推动 AI 生态发展

Together AI 强调开源 AI 的重要性，并通过 Hugging Face 页面 分享模型和数据集，支持开发者社区。他们还推出了 Together Cookbook——一个展示开源模型用例的笔记本集合，包括 RAG（文本+多模态）、语义搜索和结构化 JSON 提取等实用功能。

此外，Together AI 开发了多个全栈开源示例应用，如 LlamaCoder（生成 React 应用）、BlinkShot（实时 AI 图像生成）和 PDFToChat（与 PDF 对话）。这些应用总计拥有超过 50 万用户和 1 万 GitHub 星标，体现了其社区影响力。

• LlamaCoder ：一个开源的Claude artifacts，能够根据单一提示生成完整的React应用。基于Together推理支持的Llama 3.1 405B构建。
• BlinkShot： 一个实时AI图像生成器，使用Together AI上的Flux Schnell。输入提示后，图像将在您键入时生成。
• TurboSeek：受Perplexity启发的AI搜索引擎。它结合搜索API（Serper）和LLM（Mixtral）回答任何问题。
• Napkins.dev ：一个从线框图到应用的工具。使用Llama 3.2视觉读取截图，并通过Llama 3.1 405B编写代码。
• PDFToChat：一个让您与PDF聊天的站点。使用Together嵌入的RAG，结合Llama 3推理，Clerk认证，以及MongoDB/Pinecone作为向量数据库。
• LlamaTutor：一个个人导师，可通过搜索API和Llama 3.1为任何教育水平解释任何主题。
• NotesGPT：一个AI笔记助手，将您的语音笔记转化为有组织的总结和清晰的行动项。使用Together推理（Mixtral）并支持JSON模式。
• CareerExplorer：一个根据简历分析并基于您的优势和兴趣建议职业路径的站点。使用Llama 3，展示如何解析PDF并链式调用多个请求。

以下是 Together AI 提供的关键技术指标总结：