A Cerebras Systems revelou seu Wafer Scale Engine 3 (WSE-3), um chip inovador em escala de wafer de IA com o dobro do desempenho de seu antecessor, o WSE-2. Este novo dispositivo contém 4 trilhões de transistores fabricados no processo de fabricação de classe 5nm da TSMS; 900.000 núcleos de IA; 44 GB de SRAM no chip; e tem um desempenho máximo de 125 FP16 PetaFLOPS. O WSE-3 da Ceberas será usado para treinar alguns dos maiores modelos de IA do setor.
O WSE-3 alimenta o supercomputador CS-3 da Cerebras, que pode ser usado para treinar modelos de IA com até 24 trilhões de parâmetros – um salto significativo em relação aos supercomputadores equipados com o WSE-2 e outros processadores de IA modernos. O supercomputador pode suportar 1,5 TB, 12 TB ou 1,2 PB de memória externa, o que permite armazenar modelos massivos em um único espaço lógico sem particionamento ou refatoração – agilizando o processo de treinamento e aumentando a eficiência do desenvolvedor.
Em termos de escalabilidade, o CS-3 pode ser configurado em clusters de até 2.048 sistemas. Essa escalabilidade permite ajustar 70 bilhões de modelos de parâmetros em apenas um dia com uma configuração de quatro sistemas e treinar um modelo Llama 70B do zero no mesmo período em escala total.
O mais recente Cerebras Software Framework oferece suporte nativo para PyTorch 2.0 e também suporta esparsidade dinâmica e não estruturada, que pode acelerar o treinamento – até oito vezes mais rápido que os métodos tradicionais.
A Cerebras enfatizou a eficiência energética superior e a facilidade de uso do CS-3. Apesar de duplicar o seu desempenho, o CS-3 mantém o mesmo consumo de energia do seu antecessor. Também simplifica o treinamento de grandes modelos de linguagem (LLMs), exigindo até 97% menos código em comparação com GPUs. Por exemplo, um modelo do tamanho GPT-3 requer apenas 565 linhas de código na plataforma Cerebras, segundo a empresa.
A empresa já percebeu um interesse significativo no CS-3 e tem uma carteira substancial de pedidos de vários setores – incluindo empresas, governo e nuvens internacionais. A Cerebras também colabora com instituições como o Laboratório Nacional Argonne e a Clínica Mayo, destacando o potencial do CS-3 na área da saúde.