硬件篇请参见：技嘉 NVIDIA GB300 桌面 AI 工作站-硬件篇
拓扑与管理篇请参见：技嘉 NVIDIA GB300 桌面 AI 工作站-拓扑与管理篇
主要内容：
NVIDIA Grace CPU 性能
NVIDIA Grace CPU 已经推出一段时间了，但这是一个 300W 版本，我们看到的频率超过 3.3GHz。我们想看看这颗基于 72 核 Arm Neoverse-V2 的 CPU 表现如何，所以让我们从核心间延迟开始。
NVIDIA Grace CPU 核心间延迟
技嘉 NVIDIA GB300 桌面 AI 工作站
core-to-core-latency
Grace CPU 是一颗单片式芯片，因此我们得到了相当可预测的模式。其中或许最有用的是，核心间延迟处于一个相当窄的窗口内，大约在 42ns 左右。其他设计的核心间延迟差异可能达到三位数的纳秒级。我们还在该芯片上运行了lmbench。
技嘉 NVIDIA GB300 桌面 AI 工作站
lat-mem-rd内存读取延迟
同样，这是我们已经习惯在该平台上看到的结果。
NVIDIA Grace CPU 单核与多核性能
NVIDIA 的旗舰级智能体 AI CPU 很快将是 NVIDIA Vera，但就 NVIDIA Grace 而言，我们仍然获得了非常好的性能。让我们从工作站 CPU 的一些单核性能开始。
NVIDIA Grace CPU单核扩展性：Intel Xeon 6、AMD Threadripper、NVIDIA Grace（SMT 同时多线程开启）
参考基准 9950x3d2-single = 1000 · 原始子项吞吐量，加权几何平均值（结果文件中的综合得分经过自归一化处理，绝不跨系统进行比较）
这一对比的主要挑战之一在于，技嘉 NVIDIA GB300 桌面 AI 工作站中的 Grace CPU 部分运行在 300W 功耗限制下。这大致处于 Intel Xeon 658X（250W，睿频 300W）24 核的区间，并略低于 64 核/128 线程的 AMD Ryzen Threadripper 9980X。我们想看看一款 72 核设计相对于一些工作站芯片的单核性能表现如何。这些并非完美的对比对象，但至少在这一代产品中是有参考价值的。SMT 在许多任务上有帮助（但并非全部），因此当我们观察单核性能时，x86 处理器表现良好。
但这只是故事的一部分。据称 Meta Muse 运行在 2 个 vCPU 上，这大致相当于上述单个 x86 核心的双线程视图。而 Neoverse 系列表现出色的地方在于扩展性。如果你购买的是一台 GB300 AI Station，你应该看到最大性能。因此，对于智能体虚拟机，你可能会使用四个核心，或八个核心。
NVIDIA Grace CPU 扩展性
加权几何平均加速比，相对于同一次运行的 1 核结果；虚线 = 完美扩展（对数-对数坐标）
72 核是很多核心，超过大多数智能体 AI 工作负载实际会用到的数量。通常，大型 AI 公司告诉我们，他们为 AI 智能体瞄准的是 2-4 个核心，因此 Grace CPU 的架构实际上扩展得非常好。我想把工作站处理器换成更多低功耗服务器处理器，以便在观察扩展性时让单核功耗更接近一些。下面是典型的 2-4 核区间的情况，但扩展到了 1-8 核，以及即便在这些常见区间内扩展是如何发生的。
NVIDIA Grace CPU 扩展至 8 核：智能体对比
加权几何平均加速比，相对于同一次运行的 1 核结果；虚线 = 完美扩展（对数-对数坐标）
你可以在这里看到，NVIDIA Grace 的 Neoverse V2 核心扩展性远好于 Intel Xeon PCIe Gen5 世代两端的 Intel Xeon 6 和第四代 Intel Xeon 可扩展处理器。AMD 在这一区间的扩展性则更接近一些。有人可能会说，拥有 84 核、225W TDP 的 AMD EPYC 8653P 在这里处于劣势，但我们想在相近的功耗区间内获得相近的核心数。在我们目前测试过的 147 种配置中，这是最接近的。
NVIDIA Grace CPU 估算的 SPEC CPU2026 -O3 性能
鉴于这些设计已经在市场上有一段时间了，你可以查到许多经过高度优化的标准基准测试结果。厂商非常擅长为官方 SPEC CPU 运行优化编译器标志和系统。与此同时，我们想提供一种不同的视角，使用 -O3 标志达到一个更低的优化点。我们的目标实际上是创造出与官方结果不同的东西，去除许多常见的优化。从 SPEC CPU 2026 整数速率基础估算结果开始，以下是我们看到的情况：
技嘉 NVIDIA GB300 桌面 AI 工作站对比 AMD EPYC 8635P 估算的 SPEC CPU2026 整数速率基础 -O3
快速看一眼这里，你就会明白为什么我们在这里使用 TDP 更低的 AMD EPYC 8635P。那颗 AMD EPYC 每物理核得分约为 2.58，而 NVIDIA Grace 约为 2.71。换到浮点方面，以下是我们看到的情况：
技嘉 NVIDIA GB300 桌面 AI 工作站对比 AMD EPYC 8635P 估算的 SPEC CPU2026 浮点速率基础 -O3
NVIDIA 在这里表现不错。AMD 大概会看着这个结果想，他们通过编译器优化、更高 TDP，或许再换个 SKU，就能做得更好。这些说法都合理。
我们把这一对比保持得相对紧凑，只是因为现实中我认为你不会单纯为了 CPU 去买一台 GB300，但你可能会单纯为了 CPU 去买一颗 Xeon 或 EPYC。相反，你真正关心的是 CPU 在智能体 AI 工作负载中的性能，因为那才是技嘉 NVIDIA GB300 桌面 AI 工作站的用途所在。
NVIDIA GPU GB300 性能
现在，是大戏登场的时候了，NVIDIA Blackwell Ultra或B300。
NVIDIA GB300 Station
nvidia-smi
我们在不同模型上生成了大量数据。最初，我们计划运行几个大模型，但很快就陷入了尝试各种草稿模型的兔子洞。我们经常使用Qwen3.6-35B-A3B来简单地监控工作室中的任务，所以我们想看看它的表现如何，结果令人震惊。
NVIDIA GB300在较小（但有用）模型上的表现
鉴于我们有大量HBM，我们相当多地关注了交互性。原因很简单：如果你经营一家企业，需要为不同的传感器、机器等执行大量监控任务，会怎么样？这些任务可能很耗时。许多用户可能有这类需求，而这些需求非常适合智能体工作流。
技嘉 NVIDIA GB300 桌面 AI 工作站吞吐量与单用户速度 Qwen3.6-35B和GPT-OSS-120B
我们绘制了不同输入/输出长度以及不同并发率下的图表。如你所料，在较低并发下，每个用户能获得更高的性能。同时，这是一台大型机器，我们想看看如果只将它用于持续运行一群监控智能体会发生什么。
技嘉 NVIDIA GB300 桌面 AI 工作站吞吐量与并发用户数-不同模型
可能在这张图上看到了那个数据点（以及重新测试），它令人印象深刻。在24-30的短输入长度、1024的输出长度下，Qwen3.6-35B-A3B NVFP4 flash在512用户并发时运行，我们获得了远超每秒26,000个token的成绩。即使是更大的MoE模型Nemotron3-Super-A12B NVFP4/FP8在c=512时，也大约达到每秒7000个token，而gpt-oss-120b在更高并发下的性能表现极为强劲。作为参考，26,000T/s的结果大约相当于每天2.25B token的吞吐量，这太惊人了。
技嘉 NVIDIA GB300 桌面 AI 工作站 GB300 Qwen3.6——超过26K输出TPS
如果你是一家企业，有许多人监控机器或传感器、留意异常波动并处理问题，或者你只是有许多需要心跳信号的智能体，那么这是一个快得惊人的解决方案。
NVIDIA GB300 Qwen3.8-27B性能
转向一个更大更新的模型，Qwen3.8-27B相比Qwen3.6-27B模型是一次相当大的升级，因此我们想看看它的表现如何，即使在较低并发下。
技嘉 NVIDIA GB300 桌面 AI 工作站 Qwen3.8-27B按并发用户数划分的吞吐量
对于这样的系统来说，这一点有些有趣，但也很重要。我们可以选择以多种不同的数值格式、草稿模型等来运行。你可以看到，即使在c=4时，根据配置的不同，吞吐量也可以翻倍，而且一直在涌现大量新技术。
NVIDIA GB300 Nemotron3-Super-120B-A12B性能
NVIDIA一直在大力进军开放模型领域，其Nemotron3模型既实用又开放。但120B A12B模型与我们之前研究的Qwen模型也相当不同。
技嘉 NVIDIA GB300 桌面 AI 工作站 Nemotron3-super-120b-a12b按并发用户数划分的吞吐量
在这里，我认为有趣的一点是，120B MoE模型非常有用。它并非前沿智能，但Nemotron3 Super 120B相比GPT-OSS-120B是一次显著升级，而后者本身就已经催生了许多非常有用的工作流。也许我们学到的关键一点（除了即使在非常合理的并发水平下也能每天生成8650万个token之外）是，GB300会随着使用量的增加而持续扩展。这非常强大。如果你投资这样一台机器，很可能意味着你相信智能体AI。假设确实如此，如果你今天能用某个模型卸载一些任务，那么很可能一个季度或几个季度后，一个类似规模的模型会更好，因此你会有新的智能体工作流。技嘉 NVIDIA GB300 桌面 AI 工作站具备增加更多并发的能力，未来可支持更多智能体，同时拥有比更小的128GB级统一内存系统更多的内存。在测试了这些系统并拥有8xGB10集群之后，我坚信，随着时间的推移，随着模型变得更好，你会将更多任务卸载到像技嘉 NVIDIA GB300 桌面 AI 工作站这样的机器上。
NVIDIA GB300 GLM-5.3 Flash 321B性能
下一步是迈向更大的规模。GLM-5.3是一个321B参数的MoE模型，约有18B活跃参数。当它问世时，人们将其与GPT-5.6 Terra和Opus 4.8相提并论，因此这是与许多较小模型不同的智能级别。
技嘉 NVIDIA GB300 桌面 AI 工作站 GLM-5.3 Flash 321b按并发用户数划分的吞吐量
观察吞吐量与并发用户数的关系，我们可以看到，即使在较低并发下，我们也能以不错的速度运行该模型，并在保持合理TTFT的同时提高累计性能。
技嘉 NVIDIA GB300 桌面 AI 工作站 GLM-5.3 Flash 321b按TTFT划分的吞吐量
虽然它生成首批token的速度不如许多较小模型那么快，但表现还是相当不错的。
技嘉 NVIDIA GB300 桌面 AI 工作站 GLM-5.3 Flash 321b按单用户速度划分的吞吐量
在我们撰写本文时，OpenRouter上的许多提供商以20-40T/s的速度提供GLM-5.3 Flash，因此这套系统常常胜过云服务提供商。
NVIDIA GB300 Deepseek V4 Flash 0731性能
Deepseek V4 Flash 0731是我们经常使用的一个模型，因为284B A13B模型虽然仅支持文本，但在许多编码任务上比GLM-5.3 Flash更好。
技嘉 NVIDIA GB300 桌面 AI 工作站 Deepseek V4 Flash 0731按并发用户数划分的吞吐量
总体而言，性能略好一些，延迟也往往低于GLM-5.3 Flash。
技嘉 NVIDIA GB300 桌面 AI 工作站 Deepseek V4 Flash 0731按TTFT划分的吞吐量
这两个模型各有优势，但这一款也能在技嘉系统上支持相当数量的用户。
技嘉 NVIDIA GB300 桌面 AI 工作站 Deepseek V4 Flash 0731按单用户速度划分的吞吐量
不过，我们身处智能体AI的世界，因此值得让这些系统超越图表，进入真实的编码实战。
技嘉 NVIDIA GB300 桌面 AI 工作站真实编码
我们还展示了在智能体编码练习中使用GLM-5.3和Deepseek V4的输出。提示词是构建一个可以在浏览器中运行的卡丁车竞速游戏，且不使用任何现有美术素材。
技嘉 NVIDIA GB300 桌面 AI 工作站 GLM-5.3 Turbo Kart
在这里，Deepseek比GLM-5.3模型快约20%（约100T/s对约120T/s）。尽管如此，GLM-5.3在主要编码任务上最终快了两倍多，耗时约2.1小时，而Deepseek V4模型约需4.7小时。试玩后的修复环节几乎完全相同，但这是一个有趣的结果。能够在本地运行GLM-5.3意味着我们可以使用一个token/秒速度较慢但完成时间快得多的模型。此外，这带有主观性，因为两者都通过了验收标准，但我们认为GLM-5.3做出的游戏更有趣。
NVIDIA ConnectX-8性能
首先，我们最近展示了为这些机器购买的一些光模块，以及购买原因。NVIDIA ConnectX-8 SuperNIC是一款极其强大的网络解决方案，拥有两个400Gbps通道，网卡总网络容量达800Gbps。
NVIDIA MMS1X00-N5400 QSFP112 1310NM 400Gbps
如果你有更高端的交换机，可以使用DAC，比如那根巨大的NVIDIA 800G OSFP转2x 400G QSFP112无源分线DAC，但我们想看看只有单条400Gbps链路时会发生什么。
NVIDIA MMS1X00-N5400 QSFP112 1310NM 400Gbps
mxlink
这是我们发现的示意图。如果你回到拓扑结构部分，我们会发现有一条PCIe Gen6 x16链路连接到NVIDIA Blackwell Ultra GPU，这就是为什么在双通道网络上，你可以通过2条400Gbps链路向GPU提供800Gbps的带宽。
双NVIDIA GB300工作站 NVIDIA ConnectX-8连接性与性能
主机CPU侧则非常不同。PCIe Gen5 x8链路向NVIDIA Grace CPU侧提供的带宽最高约为229Gbps（我们测得228.9Gbps），这受限于Grace CPU与ConnectX-8 SuperNIC之间的PCIe接口。请记住，NVIDIA在ConnectX-8上还有两个PCIe Gen6 M.2插槽，额外提供八条通道，所以这里涉及的东西很多。不过，这是我们之前没见有人讨论过的事情，从架构角度来看真的很有趣。优势在于，NVIDIA使用了SuperNIC上的PCIe Gen6交换机，而不是在拓扑中再增加一颗需要供电和散热的芯片。
另一件很酷的事情是，看到从GPU发出的链路上有392-400Gbps的RDMA流量。我们最初看到系统上CPU利用率约为1.4%，后来意识到这实际上更多是由我们检查单核性能时所做的轮询驱动的。对一些人来说，这似乎是理所当然的，但NVIDIA要想推送400Gbps，更不用说为大规模GPU横向扩展带宽推送800Gbps，唯一的方法就是拥有顶级的卸载能力。
在800Gbps方面，我们随后连接了第二组400G DR4光模块，成功在Blackwell Ultra GPU之间获得了784.3Gbps的有效载荷，但在Grace CPU之间仍然只有229.0Gbps。下面这张图有助于你理解双通道架构。
双NVIDIA GB300工作站 NVIDIA ConnectX-8连接性与性能 2x 400G通道
我认为，搭载HBM3E内存的NVIDIA Blackwell Ultra对许多人来说令人兴奋。Grace CPU很精巧。你必须体会到的是，这套系统拥有当今工作站上最好的网络，因为NVIDIA即使在PCIe Gen5 CPU上也实现了Blackwell Ultra GPU与ConnectX-8 SuperNIC之间的PCIe Gen6 x16链路。NVIDIA显然将这一平台设计为可横向扩展。
还有一条链路我们想调查，那就是NVIDIA在GPU与CPU之间的C2C链路。
NVIDIA C2C影响
NVIDIA大力宣传其NVIDIA Grace CPU与NVIDIA Blackwell Ultra GPU之间的C2C链路，将其作为关键卖点。我们做了一个快速而粗略的观察，不仅看本地LPDDR5X内存的情况，还看当CPU通过C2C链路远程访问HBM时会发生什么。
NVIDIA GB300 LPDDR5X与HBM到CPU按核心数划分
这让我们开始思考各种可能性。如果你想在配备LPDDR5X的NVIDIA Grace CPU上运行LLM，而不仅仅是在配备HBM的Blackwell Ultra上运行，会怎样？如果你将模型存储在另一侧计算单元所连接的内存中，并利用高速C2C链路传输数据，会发生什么？
NVIDIA GB300 LPDDR5X与HBM到CPU和GPU的2×2矩阵，搭配各种LLM
我们运行了Qwen3.8-27B、GLM-5.3-Flash、DeepSeek-V4-Flash-0731和Qwen3.8-Flash-Next，只是为了获得一些覆盖面。总体而言，预填充通过C2C链路传输数据表现良好，这很合理，因为它更多是计算密集型而非内存带宽密集型。尽管如此，使用C2C上的LPDDR5X为GPU供数，在所有情况下都比使用CPU及其本地连接的LPDDR5X性能更好。请记住，仅一个Grace CPU的内存带宽就高于NVIDIA GB10和AMD Strix Halo/Gorgon Halo等统一内存设计。如果你想运行一个真正的大模型，这是使用LPDDR5X扩展内存容量的一个绝佳案例，但它也说明了为什么在解码时显然要使用HBM。