O que você precisa saber
- A Microsoft tem um novo modelo leve de IA chamado Phi-3 Mini.
- Phi-3 Mini é um dos três modelos menores que a Microsoft lançará, sendo os outros dois Phi-3 Small e Phi-3 Medium.
- A Microsoft treinou o Phi-3 Mini usando um currículo semelhante ao modo como as crianças aprendem ouvindo histórias.
- Devido ao fato de não haver histórias infantis suficientes para treinar um modelo de IA, a Microsoft tem um LLM para criar livros infantis para ensinar Phi-3 Mini.
- A Microsoft afirma que o Phi-3 Mini é tão capaz quanto o GPT-3.5, mas tem um formato menor.
Um novo modelo leve de IA da Microsoft chegou e promete oferecer um nível de recursos semelhante ao GPT-3.5 em algumas áreas, apesar de ser muito menor. O Phi-3 Mini é treinado em uma quantidade muito menor de dados do que o GPT-4 ou outros modelos de linguagem grande (LLMs), mas pode superar modelos maiores, como o Llama 2. O modelo menor também permite que ele seja executado em telefones e laptops em vez de exigir a web.
A Microsoft compartilhou detalhes sobre o Phi-3 em um artigo de pesquisa. A beira em seguida, compartilhou informações sobre o modelo e citações da Microsoft.
Phi-3 Mini é um modelo de linguagem de 3,8 bilhões de parâmetros que foi treinado em 3,3 trilhões de tokens. O artigo de pesquisa sobre o Phi-3 Mini explica que uma das chaves do modelo é seu conjunto de dados para treinamento. Phi-3 Mini é uma versão ampliada do Phi-2, lançada em dezembro de 2023.
Segundo a Microsoft, o Phi-3 Mini pode competir com modelos 10 vezes maiores que o novo modelo leve de IA.
Modelos leves não são exclusivos da Microsoft. Google, Anthropic e Meta têm modelos menores. Uma coisa que se destaca no Phi-3 Mini quando comparado a outros modelos é a forma como ele foi treinado. A Microsoft usou um “currículo”, disse o vice-presidente da plataforma Microsoft Azure AI, Eric Boyd, ao The Verge. A Microsoft se inspirou na forma como as crianças aprendem ouvindo histórias antes de dormir, de acordo com o vice-presidente.
Um limite para o treinamento do Phi-3 Mini era quantas histórias infantis existiam, então a Microsoft teve que fazer algumas. “Não há livros infantis suficientes por aí, então pegamos uma lista de mais de 3.000 palavras e pedimos a um LLM que fizesse ‘livros infantis’ para ensinar Phi”, disse Boyd ao The Verge.
Um modelo como o Phi-3 Mini não se destina a substituir o GPT-4 ou LLMs. Em vez disso, modelos pequenos podem se concentrar em tarefas e casos de uso específicos. Modelos pequenos também são úteis para empresas que utilizam dados internos para treinamento.
IA local
Os LLMs não vão a lugar nenhum, mas a IA local é a próxima evolução da inteligência artificial. Até certo ponto, os PCs com IA poderão executar o Microsoft Copilot localmente e as organizações estão trabalhando em maneiras de usar a IA sem exigir uma conexão com a web. Modelos menores, como o Phi-3 Mini, são pequenos o suficiente para funcionar em telefones, laptops e outros dispositivos pequenos.
Quando a Intel revelou suas CPUs Lunar Lake de próxima geração, a empresa confirmou que os chips terão 100 TOPS (trilhões de operações por segundo) de desempenho para tarefas de IA, com o NPU respondendo por 45 TOPS. Esse número é significativo porque o Copilot requer pelo menos 40 TOPS de desempenho de NPU para funcionar localmente. O Snapdragon X Elite da Qualcomm tem 45 TOPS de desempenho NPU, o que significa que o processador também pode alimentar o Copilot localmente.
Os gigantes da tecnologia correram para lançar LLMs e outros modelos de IA ao público, mas estamos apenas começando a ver hardware que pode tirar proveito da tecnologia de IA. Modelos menores como o Phi-3 Mini desempenharão um papel em casos especializados e em dispositivos que não atendem aos requisitos de desempenho para executar o Copilot e outras ferramentas de IA localmente.