A AMD compartilhou alguns insights sobre seu “desempenho de IA do consumidor” com Ferragens do Tom, apresentando um confronto entre o AMD Ryzen 7 7840U (15W) e o Intel Core Ultra 7 155H (28W). Nos testes de desempenho do modelo de linguagem grande (LLM) selecionados usando Llama 2 e Mistral Instruct 7B, vemos que a solução da equipe vermelha é muito mais rápida, usa menos energia e está disponível mais barata. Embora esperemos que os fabricantes de chips escolham benchmarks, esses resultados mostram que o desempenho de IA da Intel não está nem perto da potência de processamento de IA local que a AMD demonstra aqui.
Para comparações de testes, a AMD instalou o LM Studio nos laptops concorrentes – uma tarefa que, segundo ela, leva apenas alguns minutos. Depois que o LM Studio estiver instalado, você poderá executar vários LLMs localmente para máxima privacidade, sem taxa de assinatura e sem conexão com a Internet. Como mencionamos na introdução, o Llama 2 e o Mistral Instruct 7B foram utilizados para várias tarefas. Especificamente, a AMD fez com que as IAs escrevessem uma história várias vezes, fizessem uma demonstração com uma bola quicando no Unity e escrevessem um poema. Para algumas informações básicas, Llama 2 é um LLM de última geração da Meta, e Mistral Instruct 7B é um LLM com 7,3 bilhões de parâmetros desenvolvidos por ex-desenvolvedores da Meta e DeepMind.
A AMD escolheu métricas de desempenho para mostrar as proezas de seu Ryzen, incluindo medições de ‘tempo até o primeiro token’ – que mapeia o tempo desde a inserção de um prompt e o pressionamento de Enter até os primeiros resultados aparecerem. Outra medida crítica de desempenho são os “tokens por segundo”, em que uma resposta LLM é entregue linha por linha.
Como um lembrete das propriedades dos chips Ryzen mais recentes que se alinham à aceleração local de IA, a AMD diz que três tipos de núcleos podem ser usados em conjunto: NPU, GPU RDNA 3 e CPU Zen 4. Na demonstração que assistimos, um executivo da AMD disse que a aceleração AVX512 e VNNI integrada aos núcleos da CPU Zen 4 estavam por trás dos resultados vencedores que você vê nos gráficos. Isso é interessante, pois esperávamos ser informados sobre o NPU mais poderoso nos processadores Phoenix vs Meteor Lake.
A AMD publicou um blog sobre como executar o LM Studio e vários LLMs em sua máquina local. O tutorial orienta você nos primeiros passos em um ‘AMD
Gostaríamos de lhe enviar notificações com novidades, você pode cancelar a qualquer momento.