Alguns projetos Raspberry Pi realmente tocam nosso coração. Por mais legal que seja construir um robô ou um sistema de monitoramento de fábrica, há algo a ser dito sobre projetos que ajudam a nos aproximar como pessoas. Hoje temos um exemplo maravilhoso desse projeto, criado por Nekhil. Usando nosso SBC favorito, o Raspberry Pi, ele conseguiu criar um par de óculos que pode ajudar o usuário a entender a linguagem de sinais.
Funciona usando IA para monitorar um feed de vídeo ao vivo. O sistema de IA foi treinado para reconhecer gestos manuais e suas letras associadas. Quando uma letra é confirmada, o Pi usa a conversão de texto em fala para pronunciá-la em voz alta. Isso possibilita que qualquer pessoa próxima entenda o que está sendo transmitido, esteja ou não familiarizada com qualquer linguagem de sinais.
A plataforma que sustenta o design é o VIAM, uma ferramenta de código aberto voltada para projetos de máquinas inteligentes como este. Como este projeto depende tanto de IA e processamento de imagem, é compreensível que Nekhil recorresse primeiro ao mais recente Raspberry Pi 5. No entanto, rapidamente se tornou evidente que ele poderia usar um Pi Zero 2 W, que seria bastante capaz em termos de desempenho, ao mesmo tempo que fornece um formato menor.
O Raspberry Pi Zero 2 W é conectado a um Módulo de Câmera V3, que fica posicionado na parte central frontal da armação dos óculos. Isso torna possível capturar imagens e vídeos de tudo o que está diretamente na frente do usuário. Enquanto você estiver de frente para a pessoa que está sinalizando, o Pi poderá ler os gestos. Segundo Nekhil, as armações foram desenhadas em Fusion 360 e impressas em 3D apenas para este projeto.
Nos detalhes do projeto, Nekhil explica que o serviço de visão de modelo de aprendizado de máquina usado pelo VIAM é capaz de funcionar com modelos Tensor Flow Lite. No entanto, este projeto está usando um modelo YOLOv8. Embora a Linguagem de Sinais Americana (ASL) seja uma língua vasta com muitos sinais para palavras e frases, este sistema foi projetado para reconhecer apenas letras para ortografia.
Se você quiser dar uma olhada mais de perto neste projeto Raspberry Pi, você pode conferir em Hacker e veja-o em ação no vídeo do YouTube incorporado acima.