英伟达开始交付自己设计的通用 CPU NVIDIA Vera了。
重点优化的是长期高并发和高吞吐的场景,专门用来做Agent 编排和工具调用的中枢。
模型可以在 GPU 上进行推理,但所有的调度编排和调用工具都放在这个 CPU 上。
这种密集 Agent、密集常驻的强 IO、内存和调度压力的工作,其实都是 CPU 的工作,所以他们专门做了一个 CPU。
这次交付由英伟达自己上门,将这个 CPU 送到了:Anthropic、OpenAI、xAI、OCI,其中 xAI 是由老马亲自接待的。
详情:
blogs.nvidia.com