Visitei o escritório da AMD aqui em Taipei, Taiwan, durante a Computex 2023 para conversar com David McAfee, vice-presidente corporativo da empresa e gerente geral de negócios de canais de clientes. Nossa conversa foi abrangente sobre vários tópicos sobre os quais escreverei separadamente, mas também tive a chance de observar o mecanismo Ryzen XDNA AI da AMD em funcionamento em uma demonstração de laptop. A McAfee também discutiu as etapas que a AMD está tomando para preparar o sistema operacional e o ecossistema de software para os crescentes casos de uso de IA que serão executados localmente no PC, nos quais nos aprofundaremos mais abaixo.
Depois de seguir o mapa do corredor inspirado no codinome da AMD, encontrei meu caminho para a sala de demonstração para ver a tecnologia mais recente da AMD em ação.
O laptop de demonstração da AMD era um Asus Strix Scar 17 que vem equipado com o processador Ryzen 9 7940HS ‘Phoenix’ de 4 nm da AMD emparelhado com gráficos Radeon 780M. Esses chips de 35-45 W vêm com a arquitetura Zen 4 e os gráficos RDNA 3. A AMD também tinha um Asus ROG Zephyrus G14 executando a mesma demonstração.
O mecanismo XDNA AI, um acelerador dedicado que reside no die com os núcleos da CPU, é o objeto de nosso interesse. O objetivo geral do mecanismo XDNA AI é executar cargas de trabalho de inferência de baixa intensidade, como processamento de áudio e vídeo, com menor consumo de energia do que você poderia obter em uma CPU ou GPU, ao mesmo tempo em que oferece tempos de resposta mais rápidos do que os serviços online, aumentando assim o desempenho e economizando bateria poder.
Esse mecanismo pode lidar com até 4 fluxos de IA simultâneos, embora possa ser rapidamente reconfigurado para lidar com quantidades variáveis de fluxos. A AMD afirma que esse mecanismo, descendente de seu IP Xilinx, é mais rápido que o mecanismo neural presente nos processadores M2 da Apple. Ele pode lidar com até 4 fluxos AI simultâneos, embora possa ser rapidamente reconfigurado para lidar com quantidades variáveis de fluxos. O mecanismo é inserido diretamente no subsistema de memória dos chips, de modo que compartilha um pool de memória coerente com a CPU e a GPU integrada. Incluí os slides do lançamento da AMD no álbum acima – eles fornecem uma visão geral de como o mecanismo funciona.
Primeiro, abri o gerenciador de tarefas para ver se o mecanismo AI se enumeraria como núcleos visíveis com métricas de utilização, mas o mecanismo XDNA AI não aparece como um dispositivo visível. Como você pode ver no álbum acima, encontrei o mecanismo AI listado como ‘Dispositivo AMD IPU’ no gerenciador de dispositivos. No entanto, não pudemos observar a carga ou outra telemetria dos núcleos durante os testes.
Aqui podemos ver o mecanismo XDNA AI processando uma carga de trabalho de reconhecimento facial. À direita da tela, podemos ver uma medição da latência para cada etapa da carga de trabalho e, embora as barras estejam impressionantemente baixas e a carga de trabalho seja executada rapidamente em uma série de imagens enquanto o mecanismo de IA processa a carga de trabalho de inferência, podemos não tem nenhum contexto sobre como esses números se comparam a outros tipos de soluções.
A demonstração da AMD tinha um botão para testar seu mecanismo de IA integrado no serviço on-line Azure ONNX EP, mas a equipe de demonstração nos disse que encontrou problemas com o software, por isso não estava funcionando. Naturalmente, esperaríamos que o mecanismo Ryzen AI integrado tivesse uma latência menor do que o serviço do Azure, e isso é logicamente o que a AMD estava tentando demonstrar aqui. Infelizmente, ficamos sem um ponto de comparação substancial para os resultados do benchmark.
No entanto, o benchmark mostra que a IA está viva e respirando nos processadores Ryzen 7040 da AMD, e a empresa também está bem encaminhada para aumentar o número de aplicativos que podem alavancar seu mecanismo de IA.
A AMD anunciou na semana passada na conferência Build da Microsoft que havia criado um novo conjunto de ferramentas de desenvolvedor que aproveitam o Vitis AI Execution Provider (EP) de código aberto, que é então upstreamed no tempo de execução ONNX, para facilitar o trabalho necessário para adicionar suporte de software para o mecanismo XDNA AI. A McAfee explicou que o Vitis AI EP serve como uma espécie de camada de tradução bare metal que permite aos desenvolvedores executar modelos sem precisar alterar o modelo básico. Isso simplifica a integração.
A AMD ainda não está fornecendo métricas de desempenho para seu mecanismo de IA, mas a McAfee observou que é difícil quantificar as vantagens de um mecanismo de IA integrado com apenas uma métrica de desempenho, como TOPS, pois as outras vantagens de maior eficiência de energia e menor latência são todas partes das vantagens multifacetadas de ter um mecanismo de IA. A AMD compartilhará números no futuro, no entanto.
A McAfee reiterou os planos da empresa de continuar executando seu roteiro XDNA AI, eventualmente adicionando o mecanismo a outros processadores Ryzen no futuro. No entanto, o ecossistema de software para IA no PC ainda está em seus primeiros dias e a AMD continuará a explorar as compensações versus as vantagens do mundo real.
Grande parte da vantagem de ter um mecanismo de IA embutido reside na eficiência de energia, uma obrigação em dispositivos com restrição de energia, como laptops, mas isso pode não ser tão significativo em um PC de mesa sem restrições que pode usar uma GPU ou CPU dedicada mais poderosa para cargas de trabalho de inferência , mas sem nenhuma das preocupações com a duração da bateria. Perguntei a McAfee se esses fatores poderiam impactar a decisão da AMD sobre se levaria ou não o XDNA para PCs de mesa, e ele respondeu que isso se reduziria a se o recurso oferecesse ou não valor suficiente para que fizesse sentido dedicar uma valiosa área de matriz para o motor. A AMD ainda está avaliando o impacto, principalmente à medida que o Ryzen 7040 chega ao mercado.
Por enquanto, a AMD não está confirmando nenhum de seus planos futuros, mas a McAfee disse que, embora a AMD esteja comprometida com o mecanismo de IA como parte de seus roteiros futuros, pode não chegar a todos os produtos. Na mesma nota, ele disse que poderia haver outras opções para diferentes tipos de chips, como PCs desktop, que alavancam a estratégia de chiplet da AMD. Outras opções, como cartões adicionais, também são soluções concebíveis.
Uma coisa é certa – continuaremos a ver o mecanismo XDNA AI integrado e escalável aparecer em muitos dos produtos da AMD no futuro. Esperançosamente, da próxima vez veremos uma demonstração melhor também.