Dizem que uma imagem vale mais que mil palavras, mas será que mil palavras valem uma imagem? O criador e desenvolvedor Diego Trujillo Pisanty procurou descobrir com seu Raspberry Pi-alimentado câmera cega projeto. Em vez de usar uma lente para capturar a luz para fazer uma imagem, ele escuta o som e constrói uma aproximação do que poderia estar ao seu redor com base no áudio detectado.
O dispositivo funciona de maneira semelhante a uma câmera comum, pois você aponta a câmera para o que deseja capturar e pressiona um botão para gerar uma imagem. Nesse caso, porém, ele traz uma buzina gigante na frente usada para ajudar a amplificar a captação dos sons. Os usuários devem apontar esta buzina na direção do que desejam capturar antes de pressionar o botão. A câmera analisa o áudio por meio de um filtro AI e gera uma imagem.
De acordo com Pisanty, ele desenvolveu uma rede neural artificial personalizada (ou ANN) apenas para este projeto. Ele treinou a IA com seus próprios modelos baseados em um conjunto de vídeos feitos na Cidade do México.
O modelo foi criado pegando cada quadro de vídeo e acompanhando-o com o último segundo de áudio. Isso ajudou a construir uma associação de som e vídeo que o sistema pode usar para criar imagens. Por ter sido treinado dessa forma, tudo o que ele cria é vagamente baseado em imagens do centro da cidade do México.
Para este projeto, a Pisanty está usando um módulo Raspberry Pi 3B. Seria possível recriá-lo usando um Raspberry Pi 4, no entanto. Contanto que o Pi possa lidar com o Tensorflow, ele deve funcionar. A câmera também possui uma pequena tela que funciona como uma espécie de visor. Ele permite que os usuários saibam quando as imagens estão sendo processadas e fornece uma visualização das imagens geradas. Tudo está alojado dentro de um shell personalizado impresso em 3D.
O modelo de IA usado para treinar a câmera cega foi criado usando o Python 3. Ele foi projetado para funcionar com o Tensorflow 2 e é executado no Raspberry Pi usando o TFLite. Se você quiser recriar este projeto Raspberry Pi ou apenas ver mais de perto como ele funciona, confira o vídeo compartilhado por Pisanty para YouTube e leia mais sobre o projeto em seu local na rede Internet.