Raja Koduri, um veterano em GPU que projetou processadores gráficos para AMD, Apple, ATI, S3 Graphics e Intel, acredita que as GPUs não serão substituídas por silício personalizado para inteligência artificial (IA) e computação de alto desempenho (HPC) em breve. No entanto, novas arquiteturas ainda podem ser projetadas seguindo as GPUs para lidar melhor com essas cargas de trabalho, acredita ele. Na verdade, os esforços de silício personalizado da AWS, Graphcore, Google, Microsoft e Tesla provavelmente provam seu ponto de vista sobre arquiteturas.
“Ouvimos esta declaração desde 2016, mas as GPUs ainda dominam”, Raja Koduri em resposta a um X postagem sobre o futuro da computação de IA. “Por quê? Ainda estou aprendendo, mas minhas observações até agora: o ‘propósito’ do silício construído especificamente para esse fim não é estável. A IA não é tão estática quanto algumas pessoas imaginam e banalizam [like] ‘é apenas um monte de multiplicações de matrizes’.”
Originalmente projetadas para processar cargas de trabalho gráficas altamente paralelas (e alimentar as melhores placas gráficas), as unidades de processamento gráfico (GPUs) evoluíram para acelerar cargas de trabalho artificiais de IA e HPC. Como resultado, as cargas de trabalho de software de IA e HPC são em grande parte otimizadas para GPUs, devido ao domínio CUDA da Nvidia. As GPUs da Nvidia tornaram-se tão versáteis ao adicionar suporte para novos formatos de dados que se tornou inerentemente mais difícil – mesmo para silício personalizado – competir com elas. As GPUs AI e HPC ainda não decolaram para AMD e Intel.
Faltam muitas soluções de silício específicas em áreas importantes de suporte arquitetônico, muitas vezes transferindo a carga para os desenvolvedores de software. Esta mudança é um tanto problemática devido à escassez de novos talentos em software de sistema e à dependência excessiva de um grupo pequeno e envelhecido de especialistas existentes, opinou Koduri.
“A arquitetura do sistema – coisas como tabelas de páginas, gerenciamento de memória, tratamento de interrupções, depuração – das GPUs evoluiu ao longo de duas décadas e é um mal necessário para suportar pilhas de software de produção”, escreveu Koduri. “Muito do silício desenvolvido especificamente é deficiente aqui e joga o fardo sobre o pessoal de ‘software’. Não há muitos novos talentos jovens em software de sistema entrando no mercado de trabalho atualmente, então todos competem pelo mesmo pequeno grupo de talentos antigos.”
Embora os comentários de Raja façam muito sentido, ele é membro do conselho de administração da Tenstorrent, produtora de aceleradores de IA personalizados e CPUs HPC baseadas na arquitetura do conjunto de instruções RISC-V, o que torna suas declarações um tanto controversas. No entanto, ele expressou otimismo quanto ao desenvolvimento de novas arquiteturas que abordarão as cargas de trabalho de IA e HPC. Idealmente, essas arquiteturas futuras emergiriam das lições aprendidas até agora, oferecendo potencialmente um novo propósito e superando as limitações atuais das GPUs e do silício especialmente desenvolvido.
“Mas ainda estou otimista de que uma nova arquitetura com um novo propósito evoluirá a partir das lições aprendidas até agora”, brincou o renomado especialista em GPU.