Eles podem estar um pouco atrasados para o mercado, mas o CEO da Nvidia, Jensen Huang, anunciou aqui na Computex 2023 em Taipei, Taiwan, que os superchips Grace Hopper da empresa estão agora em produção total e a plataforma Grace já ganhou seis supercomputadores. Esses chips são um bloco de construção fundamental de um dos outros grandes anúncios da Computex 2023 de Huang: a nova plataforma de supercomputação DGX GH200 AI da empresa, construída para grandes cargas de trabalho de IA generativa, agora está disponível com 256 superchips Grace Hopper emparelhados para formar uma potência de supercomputação com 144 TB de memória compartilhada para as tarefas de treinamento de IA generativas mais exigentes. A Nvidia já tem clientes como Google, Meta e Microsoft prontos para receber os sistemas de ponta.
A Nvidia também anunciou suas novas arquiteturas de referência MGX que ajudarão os OEMs a construir novos supercomputadores de IA mais rapidamente, com mais de 100 sistemas disponíveis. Por fim, a empresa também anunciou sua nova plataforma de rede Spectrum-X Ethernet, projetada e otimizada especificamente para servidores AI e clusters de supercomputação. Vamos mergulhar.
Superchips Nvidia Grace Hopper agora em produção
Cobrimos os superchips Grace e Grace Hopper em profundidade no passado. Esses chips são essenciais para os novos sistemas da Nidia, anunciados hoje. O chip Grace é o processador Arm CPU da própria Nvidia, e o Grace Hopper Superchip combina a CPU Grace de 72 núcleos, uma GPU Hopper, 96 GB de HBM3 e 512 GB de LPDDR5X no mesmo pacote, todos pesando 200 bilhões de transistores . Essa combinação fornece uma largura de banda de dados impressionante entre a CPU e a GPU, com até 1 TB/s de taxa de transferência entre a CPU e a GPU, oferecendo uma enorme vantagem para determinadas cargas de trabalho limitadas à memória.
Com os Grace Hopper Superchips agora em plena produção, podemos esperar que os sistemas venham de um bando de parceiros de sistemas da Nidia, como Asus, Gigabyte, ASRock Rack e Pegatron. Mais importante ainda, a Nvidia está lançando seus próprios sistemas baseados nos novos chips e está lançando arquiteturas de design de referência para OxMs e hyperscalers, que abordaremos abaixo.
Supercomputador Nvidia DGX GH200
Os sistemas DGX da Nvidia são seu sistema de referência e arquitetura de referência para as cargas de trabalho de AI e HPC mais exigentes, mas os sistemas DGX A100 atuais são limitados a oito GPUs A100 trabalhando em conjunto como uma unidade coesa. Dada a explosão da IA generativa, os clientes da Nvidia estão ansiosos por sistemas muito maiores com muito mais desempenho, e o DGX H200 foi projetado para oferecer o máximo em taxa de transferência para escalabilidade massiva nas maiores cargas de trabalho, como treinamento de IA generativa, grandes modelos de linguagem, recomendação sistemas e análise de dados, contornando as limitações das opções padrão de conectividade de cluster, como InfiniBand e Ethernet, com o silício NVLink Switch personalizado da Nvidia.
Os detalhes ainda são escassos nos aspectos mais sutis do novo supercomputador DGX GH200 AI, mas sabemos que a Nvidia usa um novo sistema de comutação NVLink com 36 comutadores NVLink para unir 256 chips GH200 Grace Hopper e 144 TB de memória compartilhada em uma unidade coesa. que parece e age como uma enorme GPU. O novo sistema de comutação NVLink é baseado em sua Interruptor NVLink silício que já está em sua terceira geração.
O DGX GH200 vem com um total de 256 Grace Hopper CPU + GPUs, superando facilmente o maior arranjo DGX conectado ao NVLink anterior da Nvidia com oito GPUs, e os 144 TB de memória compartilhada são 500 vezes mais do que os sistemas DGX A100 que oferecem ‘meros’ 320 GB de memória compartilhada memória entre oito GPUs A100. Além disso, expandir o sistema DGX A100 para clusters com mais de oito GPUs requer o emprego do InfiniBand como interconexão entre os sistemas, o que incorre em penalidades de desempenho. Em contraste, o DGX GH200 marca a primeira vez que a Nvidia construiu um cluster de supercomputador inteiro em torno da topologia NVLink Switch, que a Nvidia diz fornecer até 10X a GPU para GPU e 7X a largura de banda de CPU para GPU de sua geração anterior sistema. Ele também foi projetado para fornecer 5X mais eficiência de energia de interconexão (provavelmente medida como PJ/bit) do que interconexões concorrentes e até 128 TB/s de largura de banda bissecional.
O sistema tem 150 milhas de fibra ótica e pesa 40.000 libras, mas se apresenta como uma única GPU. A Nvidia diz que os 256 superchips Grace Hopper impulsionam o DGX GH200 para um exaflop de ‘desempenho de IA’, o que significa que o valor é medido com tipos de dados menores que são mais relevantes para cargas de trabalho de IA do que as medições FP64 usadas em HPC e supercomputação. Esse desempenho é cortesia de 900 GB/s de largura de banda de GPU para GPU, o que é uma escalabilidade bastante impressionante, visto que o Grace Hopper chega a 1 TB/s de throughput com a CPU Grace quando conectado diretamente na mesma placa com o NVLink -Interconexão de chip C2C.
A Nvidia forneceu benchmarks projetados do DGX GH200 com o NVLink Switch System em confronto direto com um cluster DGX H100 vinculado ao InfiniBand. A Nvidia usou vários números de GPUs para os cálculos de carga de trabalho acima, variando de 32 a 256, mas cada sistema empregou o mesmo número de GPUs para cada teste. Como você pode ver, espera-se que os ganhos explosivos no desempenho de interconexão desbloqueiem de 2,2 a 6,3 vezes mais desempenho.
A Nvidia fornecerá os planos de referência do DGX GH200 para seus principais clientes, Google, Meta e Microsoft, antes do final de 2023, e também fornecerá o sistema como um projeto de arquitetura de referência para provedores de serviços em nuvem e hiperescaladores.
A Nvidia também está comendo sua própria comida de cachorro; a empresa implantará um novo supercomputador Nvidia Helios composto por quatro sistemas DGX GH200 que usará para seu próprio trabalho de pesquisa e desenvolvimento. Os quatro sistemas, que totalizam 1.024 Grace Hopper Superchips, serão interligados com a rede Quantum-2 InfiniBand 400 Gb/s da Nvidia.
Arquiteturas de referência de sistemas Nvidia MGX
Enquanto o DGX entra para os sistemas de ponta, os sistemas HGX da Nvidia entram para os hiperescaladores. No entanto, os novos sistemas MGX são o ponto intermediário entre esses dois sistemas, e DGX e HGX continuarão a coexistir com os novos sistemas MGX.
Os parceiros OxM da Nvidia enfrentam novos desafios com projetos de servidores centrados em IA, retardando assim o projeto e a implantação. As novas arquiteturas de referência MGX da Nvidia são projetadas para acelerar esse processo com mais de 100 designs de referência. Os sistemas MGX compreendem designs modulares que abrangem a gama do portfólio de CPUs e GPUs, DPUs e sistemas de rede da Nvidia, mas também incluem designs baseados nos processadores comuns baseados em x86 e Arm encontrados nos servidores atuais. A Nvidia também oferece opções para designs refrigerados a ar e líquido, fornecendo assim aos OxMs diferentes pontos de design para uma ampla gama de aplicações.
Naturalmente, a Nvidia aponta que os sistemas principais da QCT e da Supermicro serão alimentados por seus superchips Grace e Grace Hopper, mas esperamos que os sabores x86 provavelmente tenham uma gama mais ampla de sistemas disponíveis ao longo do tempo. Asus, Gigabyte, ASRock Rack e Pegatron usarão arquiteturas de referência MGX para sistemas que chegarão ao mercado ainda este ano até o início do ano que vem.
Os designs de referência MGX podem ser o anúncio adormecido da explosão de imprensa da Computex da Nvidia – esses serão os sistemas que os principais data centers e empresas eventualmente implantarão para infundir arquiteturas centradas em IA em suas implantações e serão lançados em números muito maiores do que os um tanto exóticos e sistemas DGX mais caros – esses são os movimentadores de volume. A Nvidia ainda está finalizando a especificação, que será pública e lançará um whitepaper em breve.
A compra da Mellanox pela Nvidia acabou sendo um movimento fundamental para a empresa, pois agora ela pode otimizar e ajustar componentes e software de rede para suas necessidades centradas em IA. A nova plataforma de rede Spectrum-X é talvez o exemplo perfeito desses recursos, já que a Nvidia a apresenta como a plataforma de rede “primeira Ethernet de alto desempenho para IA” do mundo.
Um dos pontos principais aqui é que a Nvidia está migrando para Ethernet como interconexão para esta plataforma, em oposição às conexões InfiniBand frequentemente encontradas em sistemas de alto desempenho. O design do Spectrum-X emprega os switches Spectrum-4 400 GbE Ethernet de 51 Tb/s da Nvidia e os DPUs Nvidia Bulefield-3 emparelhados com software e SDKs que permitem aos desenvolvedores ajustar os sistemas para as necessidades exclusivas das cargas de trabalho de IA. Em contraste com outros sistemas baseados em Ethernet, a Nvidia diz que o Spectrum-X é sem perdas, fornecendo assim QoS e latência superiores. Ele também possui uma nova tecnologia de roteamento adaptável, que é particularmente útil em ambientes de multilocação.
A plataforma de rede Spectrum-X é um aspecto fundamental do portfólio da Nvidia, pois traz recursos de cluster AI de alto desempenho para redes baseadas em Ethernet, oferecendo novas opções para implantações mais amplas de AI em infraestrutura de hiperescala. A plataforma Spectrum-X também é totalmente interoperável com as pilhas baseadas em Ethernet existentes e oferece escalabilidade impressionante com até 256 portas de 200 Gb/s em um único switch ou 16.000 portas em uma topologia leaf-spine de dois níveis.
A plataforma Nvidia Spectrum-X e seus componentes associados, incluindo ótica 400G LinkX, já estão disponíveis.
Supercomputação Nvidia Grace e Grace Hopper vencem
As primeiras CPUs Arm da Nvidia (Grace) já estão em produção e causaram impacto com três vitórias recentes em supercomputadores, incluindo o recém-anunciado Taiwania 4, que será construído pelo fornecedor de computação ASUS para o Taiwan National Center for High-Performance Computing. Este sistema contará com 44 nós de CPU Grace e a Nvidia afirma que estará entre os supercomputadores com maior eficiência energética na Ásia quando implantado. O supercomputador será usado para modelar questões de mudança climática.
A Nvidia também compartilhou detalhes de seu novo supercomputador Taipei 1, que será baseado em Taiwan. Este sistema terá 64 supercomputadores DGX H100 AI e 64 sistemas Nvidia OVX vinculados ao kit de rede da empresa. Este sistema será usado para cargas de trabalho locais não especificadas de P&D quando for concluído no final deste ano.