gpu 算力 · 科技与互联网

DeepInfer 实测：如何用 4 张 B200 提供 1000 并发

DeepSeek 昨天中开源了推理框架 DeepInfer，其公布的数据来自 8 卡和 64 卡集群，而且要求每台机器都有 GPUDirect RDMA 网卡。