A AMD anunciou uma série de novos produtos hoje em seu evento Data Center and AI Technology Premiere aqui em San Francisco, Califórnia. A empresa finalmente compartilhou mais detalhes sobre seus processadores Instinct MI300A que apresentam núcleos de CPU e GPU empilhados em 3D no mesmo pacote com HBM, e um novo modelo MI300X somente para GPU que traz oito aceleradores em uma plataforma que possui incríveis 1,5 TB de HBM3 memória.
A empresa também fez anúncios sobre seus processadores EPYC Bergamo de 5 nm para aplicativos nativos da nuvem e seus processadores EPYC Genoa-X com até 11 GB de cache L3. Todos os três produtos estão disponíveis agora, mas a AMD também tem seus processadores EPYC Sienna para telco e a borda chegando no segundo semestre de 2023.
Combinada com o portfólio de redes e DPUs Alveo e Pensando da AMD, a AMD possui uma pilha completa de produtos voltados para cargas de trabalho de IA, colocando-a em disputa direta com a líder de mercado Nvidia, sua principal concorrente para produtos de aceleração de IA, e a Intel, que também oferece vários -soluções de aceleração em uma ampla gama de produtos.
Este artigo concentra-se nas notícias sobre o MI300, mas adicionaremos links para nosso outro conteúdo em breve. Acabamos de receber as informações da AMD, então este artigo será atualizado à medida que adicionarmos mais detalhes.
AMD Instinct MI300
O Instinct MI300A é uma APU de data center que combina um total de 13 chiplets, muitos deles empilhados em 3D, para criar um pacote de chip único com vinte e quatro núcleos de CPU Zen 4 fundidos com um mecanismo gráfico CDNA 3 e oito pilhas de memória HBM3 totalizando 128GB. No geral, o chip pesa 146 bilhões de transistores, tornando-o o maior chip que a AMD colocou em produção. As nove matrizes de computação, uma mistura de CPUs e GPUs de 5 nm, são empilhadas em 3D sobre quatro matrizes de base de 6 nm que são interpositores ativos que lidam com memória e tráfego de E/S, entre outras funções. O instinto MI300 irá alimentar o supercomputador El Capitan de dois exaflops, que está programado para ser o mais rápido do mundo quando entrar em operação ainda este ano.
Hoje a AMD anunciou uma variante somente de GPU, o MI300X, e apresentou várias demonstrações de seu desempenho. O MI300X somente para GPU é otimizado para modelos de linguagem grande (LLMs) e vem equipado apenas com blocos de GPU CDNA3 emparelhados com 192 GB de memória HBM3. A volumosa capacidade de memória permite que o chip execute LLMs de até 80 bilhões de parâmetros, o que a AMD afirma ser um recorde para uma única GPU. O chip oferece 5,2 TB/s de largura de banda de memória em oito canais e 896 GB/s de largura de banda Infinity Fabric.
O chip é forjado a partir de 12 chiplets diferentes, que incluem oito GPUs e várias matrizes de E/S, totalizando 153 bilhões de transistores.
O MI300A pode ser executado em vários modos diferentes, mas o modo primário consiste em um único domínio de memória e domínio NUMA, fornecendo assim memória de acesso uniforme para todos os núcleos de CPU e GPU. A principal conclusão é que a memória coerente com o cache reduz a movimentação de dados entre a CPU e a GPU, que geralmente consome mais energia do que a própria computação, reduzindo assim a latência e melhorando o desempenho e a eficiência energética.