A Nvidia anunciou um novo produto dual-GPU, o H100 NVL, durante sua palestra GTC Spring 2023. Isso não trará de volta jogos SLI ou multi-GPU e não será uma das melhores placas gráficas para jogos, mas visa o crescente mercado de IA. Pelas informações e imagens que a Nvidia divulgou, o H100 NVL (H100 NVLink) terá três conectores NVLink na parte superior, com as duas placas adjacentes encaixadas em slots PCIe separados.
É uma mudança interessante de ritmo, aparentemente para acomodar servidores que não suportam a opção SXM da Nvidia, com foco no desempenho de inferência em vez de treinamento. As conexões NVLink devem ajudar a fornecer a largura de banda ausente que o NVSwitch fornece nas soluções SXM, e também existem outras diferenças notáveis.
Pegue as especificações. As soluções H100 anteriores – SXM e PCIe – vêm com 80 GB de memória HBM3, mas o pacote real contém seis pilhas, cada uma com 16 GB de memória. Não está claro se uma pilha está completamente desativada ou se é para ECC ou outra finalidade. O que sabemos é que o H100 NVL virá com 94 GB por GPU e 188 GB HBM3 no total. Assumimos que os 2 GB “faltantes” por GPU são para ECC agora.
A potência é ligeiramente superior à do H100 PCIe, de 350 a 400 watts por GPU (configurável), um aumento de 50 W. Enquanto isso, o desempenho total acaba sendo efetivamente o dobro do H100 SXM: 134 teraflops de FP64, 1.979 teraflops de TF32 e 7.916 teraflops de FP8 (além de 7.916 teraops de INT8).
Basicamente, isso se parece com o mesmo design de núcleo do H100 PCIe, que também suporta NVLink, mas potencialmente agora com mais núcleos de GPU ativados e com 17,5% a mais de memória. A largura de banda da memória também é um pouco maior do que o H100 PCIe, com 3,9 TB/s por GPU e 7,8 TB/s combinados (contra 2 TB/s para o H100 PCIe e 3,35 TB/s no H100 SXM).
Como esta é uma solução de placa dupla, com cada placa ocupando um espaço de 2 slots, a Nvidia suporta apenas 2 a 4 pares de placas H100 NVL para sistemas parceiros e certificados. Quanto custaria um único par e eles estarão disponíveis para compra separadamente? Isso ainda precisa ser visto, embora um único H100 PCIe às vezes possa ser encontrado para cerca de $ 28.000 (abre em nova aba). Portanto, US $ 80.000 por um par de H100 NVL não parece fora de questão.