Uma equipa de investigadores da Universidade de Michigan, nos Estados Unidos, criou uma ferramenta chamada WorldScribe, que usa modelos de linguagem de IA generativa (GenAI) para interpretar imagens da câmara e produzir descrições de texto e áudio em tempo real para ajudar os utilizadores cegos a perceber rapidamente o ambiente ao seu redor.
A ferramenta pode ajustar o nível de detalhe com base nos comandos do utilizador ou no tempo que um objecto fica no enquadramento da câmara e o volume se adapta automaticamente a ambientes barulhentos, como salas lotadas, ruas movimentadas e música alta.
“Para nós, pessoas cegas, esta ferramenta pode realmente revolucionar a forma como lidamos com o mundo no dia-a-dia”, disse Sam Rau, que nasceu cego e participou na experiência WorldScribe. “Não tenho noção da visão, mas quando testei a ferramenta obtive uma imagem do mundo real e fiquei entusiasmado com todas as cores e texturas às quais não teria acesso de outra forma”, conta, explicando que “uma pessoa cega está sempre a preencher a imagem do que está a acontecer ao seu redor, detalhe por detalhe, e é preciso muito esforço mental para criar uma imagem mais ampla. Mas este dispositivo pode ajudar-nos a obter as informações imediatamente. Não sei se consigo expressar em palavras o milagre que isto realmente representa para nós.”
Segundo o portal Sapo, durante a experiência, Sam Rau colocou um headset equipado com um smartphone e caminhou pelo laboratório. A câmara do telefone transferiu imagens sem fios para um servidor, que quase instantaneamente gerou descrições em texto e áudio dos objectos no enquadramento da câmara: um computador portátil sobre uma secretária, uma pilha de papéis, TV e quadros pendurados na parede.
As descrições mudavam constantemente, priorizando os objectos que estavam mais próximos. Um rápido olhar numa mesa produziu uma descrição simples de uma palavra, mas uma inspecção mais longa fornecia informações mais precisas sobre as pastas e os papéis que estavam sobre ela.
A ferramenta pode ajustar o nível de detalhe nas suas descrições, alternando entre três modelos de linguagem de IA. O modelo YOLO World gera rapidamente descrições muito simples de objectos que aparecem brevemente no enquadramento da câmara. Descrições detalhadas de objectos que permanecem no enquadramento por um período mais longo são tratadas pelo GPT-4, o modelo por detrás do ChatGPT. Por fim, outro modelo, o Moondream, fornece um nível intermediário de detalhe.
Outras Notícias Para Ler
“Fornecer descrições ricas e detalhadas para uma experiência ao vivo é um grande desafio para as ferramentas de acessibilidade. Vimos uma oportunidade de usar modelos de IA cada vez mais capazes para criar descrições automatizadas e adaptáveis em tempo real.”
“Muitas tecnologias que utilizam IA concentram-se em tarefas específicas ou exigem algum tipo de interacção passo a passo. Por exemplo, tirar uma fotografia e obter algum resultado”, explica Anhong Guo, professor assistente de ciência da computação e engenharia e autor do estudo.
“Fornecer descrições ricas e detalhadas para uma experiência ao vivo é um grande desafio para as ferramentas de acessibilidade. Vimos uma oportunidade de usar modelos de IA cada vez mais capazes para criar descrições automatizadas e adaptáveis em tempo real.”
Como depende da GenAI, o WorldScribe também pode responder a tarefas ou consultas fornecidas pelo utilizador, como priorizar descrições de objectos que este pediu à ferramenta para encontrar. No entanto, alguns participantes do estudo observaram problemas na deteçcão de certos objectos, como um frasco de conta-gotas. Sam Rau afirma que a ferramenta não é ainda a ideal, mas que a usaria todos os dias se pudesse ser integrada em óculos inteligentes ou noutro dispositivo vestível.
Os investigadores solicitaram a protecção de patente com a ajuda da UM Innovation Partnerships, o escritório de transferência de tecnologia da Universidade de Michigan, e estão à procura de parceiros para ajudar a refinar a tecnologia e levá-la ao mercado.
