Em um especialmente documento técnico emitidoTachyum na sexta-feira anunciado sua plataforma Prodigy ATX, uma estação de trabalho orientada para inteligência artificial baseada em uma versão reduzida de seu processador universal Prodigy, que ainda precisa ser removido. A empresa planeja vender a unidade por US$ 5 mil e afirma que a máquina democratizará o acesso a grandes modelos de linguagem com bilhões (ou trilhões) de parâmetros. No entanto, a empresa não divulgou quando o produto estará disponível.
A plataforma Prodigy ATX é baseada em um processador Prodigy de 96 núcleos (que está projetado para ser produzido em volume no nó de 5 nm da TSMC em 2024) que roda até 5,70 GHz. Diz-se que a CPU vem com apenas metade de sua matriz habilitada para reduzir o consumo de energia e aumentar o rendimento, o que ajuda a reduzir custos e tornar a plataforma mais acessível, disse Tachyum.
Falando em processador, devemos mencionar que o lançamento do Prodigy, inicialmente previsto para 2020 após uma saída de fita em 2019, foi adiado repetidamente – para 2021, 2022 e depois 2023 – em meio a reivindicações de desempenho cada vez mais extravagantes, sem quaisquer protótipos demonstrados. Agora, o último plano da empresa fixa o lançamento do processador Prodigy para o segundo semestre de 2024, mas sem dar detalhes, o que pode significar dezembro de 2024.
Espera-se que a máquina venha equipada com 1 TB de SDRAM DDR5-6400 usando 16 módulos de memória e oferecendo largura de banda de pico de 819,2 GB/s. Espera-se que o sistema apresente três slots PCIe x16 5.0, três slots M.2-2280 NVMe com interface PCIe 5.0 x4 e conectores SATA para SSDs e HDDs.
Por ser uma caixa ATX, o sistema promete oferecer todos os conectores de E/S que se espera de uma máquina desse tipo, incluindo USB, HDMI e Ethernet. Além disso, a placa-mãe contará com o controlador de gerenciamento de placa AST2600 da Aspeed.
Por enquanto, a Tachyum lançou um esquema de blocos de sua placa-mãe Prodigy ATX Platform e um chassi de PC cinza vazio com seu nome.
O foco da plataforma Prodigy ATX é usar modelos pré-treinados para inferência e fazê-lo de forma mais eficiente graças às peculiaridades arquitetônicas do processador. Tachyum diz que um modelo de trilhão de parâmetros requer 2,04 TB de memória usando o FP8. Mas, ao adotar o formato TAI esparso de 4 bits com pesos de 4 bits do Tachyum, os requisitos de memória caem drasticamente para 765 GB, o que torna possível suportar modelos ainda maiores dentro do limite de 1 TB de memória do sistema.
Tachyum afirmou que um sistema alimentado por um único processador Prodigy de 96 núcleos com 1 TB de RAM pode executar inferência em um modelo ChatGPT4 com 1,7 trilhão de parâmetros, ‘enquanto requer 52 GPUs Nvidia H100 para executar a mesma coisa com custo e consumo de energia significativamente mais altos .’
“A IA generativa será amplamente utilizada muito mais rápido do que se previu originalmente”, disse o Dr. Radoslav Danilak, fundador e CEO da Tachyum, em um comunicado à imprensa. “Em um ou dois anos, a IA será um componente necessário em sites, chatbots e outros componentes críticos de produtividade para garantir uma boa experiência do usuário. Os poderosos recursos de IA do Prodigy permitem que os LLMs sejam executados de maneira muito mais fácil e econômica do que CPU + GPGPU existentes. baseados em sistemas, capacitando organizações de todos os tamanhos para competir em iniciativas de IA que, de outra forma, seriam dominadas pelos maiores participantes do seu setor.”
Se a Tachyum conseguir popularizar sua plataforma Prodigy, então poderá de fato mudar as regras do jogo na frente da IA, desde que possa fornecer processadores suficientes. No entanto, dada a falta de silício funcional, não está claro se isso realmente pode acontecer. Além disso, não está claro quando exatamente a Tachyum iniciará a produção em massa de seus processadores Prodigy, bem como quando planeja disponibilizá-los em volume.
No que diz respeito à Plataforma Prodigy ATX, temos algumas dúvidas razoáveis sobre a sua viabilidade económica para a empresa. 16 RDIMMs de 64 GB em $ 240 por unidade custa US$ 3.840, uma placa-mãe multicamadas altamente personalizada (estamos falando de 12 a 16 camadas aqui) com um módulo regulador de tensão avançado pode custar US$ 500 (estamos falando de um lote de placas-mãe de volume relativamente baixo, elas são caras ), uma fonte de alimentação de 2.000 W custa cerca de US$ 300, um chassi decente com coolers confiáveis custa cerca de US$ 150. Combinado, mesmo sem o processador Prodigy da Tachyum, o sistema custa cerca de US$ 4.800.
É claro que, como a empresa compra coisas em volume, isso acabará com um custo muito menor, mas como o silício Prodigy provavelmente também é caro, só podemos nos perguntar se a plataforma projetada para inferência será um produto economicamente viável para a Tachyum. E, claro, há um ceticismo crescente em torno do cronograma de lançamento frequentemente adiado da empresa.