Recentemente, houve uma diminuição significativa nos prazos de entrega das GPUs H100 da Nvidia, usadas em aplicativos de inteligência artificial (IA) e computação de alto desempenho (HPC), de 8 a 11 meses para apenas 3 a 4 meses. Isso levou algumas empresas que adquiriram grandes quantidades desses processadores H100 de 80 GB a tentar se desfazer deles, já que agora é mais fácil alugá-los de grandes empresas como Amazon Web Services, Google Cloud e Microsoft Azure. No entanto, as empresas que desenvolvem seus próprios modelos linguísticos ainda enfrentam desafios de fornecimento.
Algumas empresas estão revendendo suas GPUs H100 ou reduzindo pedidos devido à diminuição da escassez e ao alto custo de manter estoques não utilizados. Este movimento representa uma mudança significativa em relação ao ano anterior, quando era extremamente desafiador obter as GPUs Hopper da Nvidia. Apesar da maior disponibilidade de chips e dos prazos de entrega reduzidos, a demanda por chips de IA continua a superar a oferta, especialmente para aqueles que treinam seus próprios LLMs, como OpenAI, de acordo com informações.
A diminuição da escassez de processadores de IA se deve em parte aos provedores de serviços em nuvem (CSPs), como a AWS, que facilitam o aluguel de GPUs H100 da Nvidia. A AWS introduziu um novo serviço que permite aos clientes agendar aluguéis de GPU por períodos mais curtos, resolvendo problemas anteriores com disponibilidade e localização de chips. Isso resultou em uma redução na demanda e nos tempos de espera por chips de IA, de acordo com o relatório.
Apesar da melhoria geral na disponibilidade do H100, as empresas que desenvolvem seus próprios LLMs continuam enfrentando restrições de fornecimento, principalmente devido à necessidade de dezenas e centenas de milhares de GPUs. O acesso a grandes clusters de GPU necessários para o treinamento de LLMs ainda é um desafio, com algumas empresas enfrentando atrasos de vários meses para receber os processadores ou a capacidade necessária. Como resultado, os preços do H100 da Nvidia e de outros processadores não diminuíram e a empresa continua a ter altas margens de lucro.
A disponibilidade aumentada dos processadores de IA da Nvidia também influenciou o comportamento dos compradores. As empresas estão mais atentas aos preços e são seletivas em suas compras ou aluguéis, buscando clusters de GPU menores e focando na viabilidade econômica de seus negócios.
O crescimento do setor de IA não está mais sendo tão prejudicado pelas restrições no fornecimento de chips como no ano anterior. Alternativas aos processadores da Nvidia, como os da AMD ou AWS, estão ganhando desempenho e suporte de software. Isso, combinado com gastos mais cautelosos em processadores de IA, poderia levar a um mercado mais equilibrado.
A demanda por chips de IA permanece forte e, à medida que os LLMs se expandem, mais poder computacional é necessário. Por isso, Sam Altman da OpenAI supostamente está buscando levantar capital substancial para construir fábricas adicionais para produzir processadores de IA.