Pequena Corporação., a startup que mantém o tinygrad, uma estrutura de rede neural, tem como objetivo democratizar o desempenho da classe PetaFLOPS para inteligência artificial. Para esse efeito, revelou o seu Caixa minúscula sistema que contém seis placas gráficas Radeon RX 7900 XTX da AMD em um gabinete de rack 12U e será vendido por US$ 15.000. Esse número inclui todo o software e hardware necessários.
O sistema TinyBox usa seis placas AMD Radeon RX 7900 XTX (uma das melhores placas gráficas) conectadas usando links PCIe 4.0 x16 ‘full fabric’ para garantir largura de banda máxima. Aparentemente, essas GPUs de consumo totalmente apoiar as interconexões peer-to-peer necessário para modelos de linguagem grande (ao contrário da GeForce RTX 4090 da Nvidia), então a empresa optou por usar essas GPUs em vez das opções mais populares da Nvidia.
Do ponto de vista do desempenho, o TinyBox pode oferecer até 738 FP16 TFLOPS (0,738 FP16 TFLOPS) de desempenho junto com 96 GB de memória GDDR6 que oferece 21 TB/s de largura de banda de memória agregada. Para colocar os números em contexto, um TinyBox oferece 37% do desempenho de computação Nvidia H100 (FP16), mas um pouco mais de memória (96 GB em vez de 80 GB) e largura de banda de memória de pico consideravelmente maior (21 TB/s em vez de 3,35 TB/s) .
O sistema é alimentado por uma CPU AMD EPYC 7532 combinada com 128 GB de RAM. Quanto ao armazenamento, o TinyBox conta com cinco SSDs Western Digital SN850X de 1 TB, sendo quatro configurados em RAID para melhor desempenho e um dedicado para inicialização do sistema. Além disso, a máquina possui um slot 16x OCP 3.0 vazio para rede, permitindo opções flexíveis de conectividade.
Tiny diz que o custo de sua máquina TinyBox é de cerca de US$ 10.000, e ela a vende por US$ 15.000, o que é consideravelmente inferior ao H100 da Nvidia. Como resultado, a empresa recebeu 583 encomendas e planeja começar a enviar em abril. Já está em andamento uma produção de 100 unidades, indicou a empresa.
Do lado do software, o TinyBox vem com Ubuntu 22.04 e inicialmente incluirá apenas o framework tinygrad. No entanto, é compatível com outras estruturas de aprendizado de máquina, como PyTorch e JAX em hardware AMD, proporcionando aos usuários a flexibilidade de escolher suas ferramentas preferidas.
Como o Tiny deseja democratizar o desempenho da classe PetaFLOPS para cargas de trabalho de IA, o TinyBox não é apenas um produto, mas sim uma prova de que isso pode ser feito. Ao fornecer uma peça padronizada de hardware, a empresa pretende permitir que os desenvolvedores explorem novas fronteiras no desenvolvimento de software e algoritmos, levando, em última análise, a avanços na área. À medida que AMD, Intel e Nvidia introduzem novas arquiteturas de computação de alto desempenho baseadas em hardware de data center, só podemos nos perguntar se o TinyBox, baseado em hardware de consumidor, ganhará popularidade.