模型服务
AI代理的核心是LLM。要使用LLM,模型需要通过推理引擎提供服务,通常是通过付费API服务。
在闭源API模型推理提供商中,OpenAI和Anthropic是领先者,它们提供私有的前沿模型。Together.AI、Fireworks和Groq则是提供开放权重模型(如Llama 3)付费API的热门选择。在本地模型推理提供商中,vLLM通常在生产级别的GPU服务负载中领先。SGLang是一个面向类似开发者群体的新兴项目。在爱好者(“AI爱好者”)中,Ollama和LM Studio是两种流行的选择,可在自己电脑上运行模型(例如M系列苹果MacBook)。