Mark Zuckerberg compartilhou uma atualização sobre a inteligência artificial (IA) do Meta e o hardware que a alimenta. Até o final do ano, a Meta terá hardware de IA com desempenho equivalente a 600.000 GPUs Nvidia H100. Aparentemente, a Meta compra vários tipos de processadores de IA, incluindo o Instinct MI300 da AMD.
“Atualmente, estamos treinando nosso modelo de próxima geração Llama 3 e construindo uma enorme infraestrutura de computação para apoiar nosso roteiro futuro, incluindo 350.000 H100s até o final deste ano – e no geral quase 600.000 H100s equivalentes de computação se você incluir outras GPUs,” Zuckerberg escreveu em uma Postagem no Instagram.
Com base nos dados da Omdia, a Meta adquiriu cerca de 150.000 GPUs Nvidia em 2023, sendo que apenas a Microsoft foi capaz de desafiá-la. Acontece que a Meta agora está no caminho certo para comprar e instalar centenas de milhares de GPUs Nvidia H100 nos próximos trimestres. Se a Nvidia pode atender à demanda por suas GPUs de IA e produtos Grace Hopper orientados para IA é outra questão.
Dylan Patel, analista-chefe da SemiAnálise, modelos que a Nvidia será capaz de aumentar a produção de seus produtos baseados em Hopper para 773.000 no primeiro trimestre de 2024 e 811.000 no segundo trimestre de 2024.
O interessante é que Zuckerberg observa que até o final de 2024 sua empresa terá desempenho de IA equivalente a 600.000 GPUs H100. Isso provavelmente indica que a Meta adicionará algumas novas GPUs Nvidia Blackwell AI à sua frota, e, em seguida, adquirirá hardware de IA de outros fornecedores.
“Embora a Nvidia tenha capacidade para continuar a crescer no segundo semestre, a modelagem de demanda que fizemos indica uma queda na demanda de Hopper à medida que os hiperscaladores passam a olhar para a Blackwell,” disse Dylan Patel ao Tom’s Hardware. Meta e Microsoft também estão comprando MI300 significativos.
O objetivo de longo prazo da Meta é construir inteligência artificial geral (AGI) que seja capaz não apenas de aprender, gerar e responder, mas também tenha capacidades cognitivas e capacidade de raciocinar suas decisões. Para conseguir isso, a Meta aparentemente aproxima seus esforços de pesquisa em AGI e IA generativa. Enquanto isso, Zuckerberg não revelou se o hardware existente é suficiente para construir modelos AGI funcionais.
“Nossa visão de longo prazo é construir inteligência geral, abri-la de forma responsável e torná-la amplamente disponível para que todos possam se beneficiar”, disse o chefe da Meta. “Estamos aproximando nossos dois principais esforços de pesquisa em IA – Pesquisa Fundamental em IA (FAIR) e IA Generativa – para apoiar isso.”
Além de construir enormes datacenters orientados para IA para suportar aplicações FAIR e GenAI, o Facebook também está trabalhando em dispositivos habilitados para IA e planeja expandir a linha de tais dispositivos.
“Também estou muito entusiasmado com nosso progresso na construção de novos dispositivos de computação centrados em IA, como os óculos inteligentes Ray Ban Meta”, disse Zuckerberg. “Muito mais por vir em breve.”