SK Hynix tem anunciado que desenvolveu as primeiras pilhas de memória HBM3 de 24 GB e 12 camadas do setor, que oferecem alta densidade e largura de banda extrema de 819 GB/s. Os produtos 12-Hi HBM3 mantêm a mesma altura que os produtos HBM3 de 8 camadas existentes da empresa, o que significa que são fáceis de implantar.
O produto HBM3 de 24 GB conhecido da SK Hynix (KGSD) coloca doze dispositivos de memória de 16 Gb conectados usando vias de silício (TSVs) em uma camada de base com uma interface de 1024 bits. O dispositivo possui uma velocidade de transferência de dados de 6400 MT/s e, portanto, todo o módulo HBM3 de 24 GB oferece uma largura de banda de 819,2 GB/s.
Dependendo do subsistema de memória real, esses módulos podem habilitar 3,2 TB/s – 4,915 TB/s de largura de banda para 96 GB de memória em uma interface de 4.096 bits ou 144 GB de memória em uma interface de 6.140 bits, respectivamente. Para contextualizar os números, o H100 NVL da Nvidia — a implementação HBM3 mais avançada até hoje — apresenta 96 GB de memória com 3,9 TB/s de largura de banda para cada uma de suas duas GPUs de computação GH100.
Empilhar 12 camadas de HBM DRAM umas sobre as outras é um desafio por vários motivos. Em primeiro lugar, é difícil perfurar cerca de 60.000 ou mais orifícios TSV no pacote para conectar todas as doze camadas. Em segundo lugar, os pacotes 12-Hi HBM DRAM não podem ficar fisicamente maiores do que 8-Hi HBM KGSDs (normalmente, 700 – 800 mícrons, 720 mícrons no caso da Samsung), então será extremamente complicado (se possível) instalar esses HBM3 KGSDs próximos a uma CPU ou GPU que tenham uma altura fixa. Para esse fim, os fabricantes de DRAM como a SK Hynix precisam reduzir a espessura de uma camada individual de DRAM sem sacrificar rendimentos ou desempenho (o que traz uma série de desafios) ou reduzir o espaço entre as camadas, bem como encolher a camada de base.
A SK Hynix diz que, para construir seu produto 12-Hi HBM3 com a mesma altura de seu dispositivo 8Hi HBM3, usou sua tecnologia de encapsulamento Advanced Mass Reflow Molded Underfill (MR-MUF) que envolve o chip de reflow de massa (MR) anexado para encolher o processos de camada de base e underfill moldado (MUF) para reduzir o espaçamento entre matrizes.
A SK Hynix entregou amostras de seu produto HBM3 de 24 GB para vários clientes ansiosos. O produto está atualmente passando por avaliação de desempenho e deve entrar em produção em massa no segundo semestre do ano.