O Raspberry Pi já foi lançado há alguns meses e tivemos a chance de ver de perto do que ele é capaz. Agora, o criador e desenvolvedor Data Slayer mergulhou no uso de um Pi 5 para executar modelos avançados de IA em grandes linguagens (LLMs) em seu vídeo mais recente. Nele, temos uma visão impressionante da capacidade do Pi 5 de utilizar modelos locais de IA.
O Data Slayer está usando uma ferramenta chamada Olama para gerenciar e alternar entre os LLMs. Isso é feito via linha de comando e não requer acesso à internet, pois tudo é armazenado no Pi 5. No vídeo, o Data Slayer nos dá uma visão detalhada do que alguns modelos diferentes podem fazer ao operar no Pi 5 .
O primeiro LLM que ele demonstrou chama-se LLaVa e destina-se à análise de imagens. Para testá-lo, o Data Slayer tirou uma selfie e a analisou por meio do Pi para ver o que o LLaVa detectaria. Identificou corretamente o assunto da foto, observando que se tratava de um homem vestindo um moletom com capuz em um prédio localizado em algum lugar do ambiente urbano.
O próximo exemplo foi um modelo conhecido como Llama 2, que atendeu a algumas perguntas divertidas baseadas em texto. Logo de cara, ele sugeriu uma receita de maionese picante e depois começou a testá-la com algumas curiosidades históricas. Para finalizar o experimento, ele pediu para gerar alguns comandos básicos do Linux.
Este é um exemplo muito legal do que você pode fazer com o Raspberry Pi 5 sem nenhum hardware extra. Dito isto, você pode definitivamente aprimorar a experiência adicionando armazenamento ou uma TPU externa para melhorar o desempenho. No vídeo elaborado pelo Data Slayer, ele está usando um Raspberry Pi 5 de 8 GB com um cartão microSD de 256 GB.
Se você quiser ver isso mais de perto Projeto Raspberry Pi em ação ou apenas quer saber mais sobre como tudo funciona, confira o vídeo original compartilhado YouTube por Data Slayer e certifique-se de segui-lo para futuras criações.