Stable Diffusion é um aplicativo de aprendizado profundo que cria imagens a partir de prompts de texto. Lançado em 2022, requer consideravelmente mais poder de computação do que um Raspberry Pi. Este feito impressionante, reunido pelo fabricante e desenvolvedor vida de plantamura que conseguiu executar com sucesso o Stable Diffusion em um Raspberry Pi Zero 2 W usando apenas 260 MB de RAM.
Este é um feito impressionante, principalmente porque o Raspberry Pi Zero 2 W é conhecido por seu design compacto, em vez de desempenho de computação. Mas não só é fisicamente pequeno, como também possui limitações de hardware que restringem seu desempenho. Nesse caso, o Pi Zero 2 W tem apenas 512 MB de RAM. O Stable Diffusion prefere pelo menos 8 GB de RAM para desempenho ideal.
Plantamura conseguiu fazer isso funcionar desenvolvendo o que chama de OnnxStream. Trata-se de uma biblioteca de inferência especialmente desenvolvida para reduzir o consumo de memória para que seja capaz de gerar imagens em um Raspberry Pi Zero 2 W. É prática? Não exatamente visto que leva muito mais tempo para criar imagens. As imagens criadas usando decodificadores VAE na precisão W8A8 podem levar três horas para serem geradas. No entanto, funciona e é bastante impressionante a esse respeito. De acordo com Plantamura, o OnnxStream consome 55 vezes menos memória do que o OnnxRuntime, mas é no máximo duas vezes mais lento.
O OnnxStream possui muitos recursos úteis para quem deseja criar com a ferramenta. Alguns exemplos incluem divisão de atenção, quantização dinâmica e estática, suporte a FP16 e até mesmo um mecanismo de inferência desacoplado do WeightsProvider. Você pode encontrar uma lista completa de recursos no página oficial do projeto.
O software é totalmente de código aberto e está disponível para qualquer pessoa explorar ou modificar. Embora possa ser executado em um Raspberry Pi Zero 2, os usuários também podem implementá-lo em outros sistemas mais capazes com o benefício adicional de melhor consumo de memória. Há instruções no projeto GitHub página detalhando como configurá-lo em máquinas Windows, Mac e Linux.
Se você quiser saber mais sobre isso Projeto Raspberry Pi ou apenas para ter uma ideia melhor de como tudo funciona, confira todos os detalhes no OnnxStream GitHub e certifique-se de seguir Vito Plantamura para atualizações futuras.