A Micron anunciou hoje que está começando a produção em grande escala de sua memória HBM3E, a mais recente da empresa para GPUs de classe AI e datacenter. Segundo a Micron, a HBM3E está sendo utilizada no próximo H200 da Nvidia, que está programado para ser lançado no segundo trimestre do ano com seis chips de memória HBM3E. Além disso, a Micron também anunciou que detalhará seus próximos chips de 36 GB de HBM3E em março, durante a conferência GTC da Nvidia.
Comparado ao HBM3 comum, o HBM3E aumenta a largura de banda de 1 TB/s para até 1,2 TB/s, proporcionando um salto modesto, porém perceptível, no desempenho. O HBM3E também aumenta a capacidade máxima por chip para 36 GB, embora a versão da Micron para o H200 da Nvidia tenha “apenas” 24 GB por chip, mantendo-se no mesmo nível do máximo do HBM3. Esses chips suportam até oito camadas de empilhamento, em vez das 12 camadas teoricamente oferecidas pelo HBM3E. A Micron afirma que sua memória HBM3E específica possui um consumo de energia 30% menor do que seus concorrentes, Samsung e Sk hynix, que também possuem suas próprias implementações de HBM3E.
A Micron não revelou se será a única empresa a fornecer HBM3E para o H200 da Nvidia, e provavelmente não será. A demanda por GPUs AI da Nvidia é tão alta que a empresa supostamente fez uma compra antecipada de US$ 1,3 bilhão em memória HBM3E da Micron e da Sk hynix, mesmo que a largura de banda da memória desta última seja de apenas 1,15 TB/s e, segundo a Micron, consuma mais energia. Para a Nvidia, no entanto, poder vender um produto com um desempenho ligeiramente inferior vale a pena, dada a demanda.
No entanto, a Micron não pode afirmar que possui a HBM3E mais rápida, já que a memória Shinebolt HBM3E da Samsung é classificada em 1,225 TB/s. Ainda assim, a Micron pode pelo menos se orgulhar de ser a primeira a iniciar a produção em grande escala, pelo que sabemos. Nem a Samsung nem a Sk hynix declararam ter alcançado a produção em grande escala, então, presumivelmente, a Micron é a primeira nesse aspecto.
A AMD também pode ser cliente da HBM3E da Micron. O CTO da empresa, Mark Papermaster, indicou que a AMD “projetou para a HBM3E”, o que sugere que uma versão de sua GPU MI300 ou um produto de próxima geração está configurado para usar o mesmo HBM3E encontrado no H200. No entanto, não está claro se será o HBM3E da Micron em particular.
A Micron também afirmou que compartilhará detalhes sobre seus próximos chips de 36 GB de HBM3E na conferência GTC da Nvidia em março. A empresa destacou que seus chips de 36 GB de HBM3E terão mais de 1,2 TB/s de largura de banda, maior eficiência energética e elevarão o limite de empilhamento para 12 chips. A amostragem desses módulos de 36 GB também começará em março.