Robô do MIT aprende a desconfiar da própria memória e corrige descrições erradas de objetos
Pesquisadores do MIT criaram um sistema que permite ao robô perceber quando a descrição que guardou de um objeto é duvidosa e corrigi-la sozinho, olhando de novo para ele por outros ângulos.
Robôs que circulam por casas, fábricas e campi universitários precisam lembrar o que viram e onde viram. O problema é que essa memória costuma ser montada por modelos de inteligência artificial que descrevem imagens, e eles erram com frequência quando o objeto aparece de longe, pela metade, borrado ou mal iluminado. Em 5 de novembro, o MIT apresentou o UQ-DAAAM, um sistema desenvolvido no laboratório SPARK que mede o quanto cada lembrança do robô é confiável e revisa as que parecem suspeitas. O trabalho é assinado pelos estudantes de pós-graduação Harry Zhang e Nicolas Gorlo, sob orientação do professor Luca Carlone, e será apresentado na conferência NeurIPS, uma das principais da área de aprendizado de máquina.
De onde vem o problema
O UQ-DAAAM é uma evolução do DAAAM, sigla em inglês para algo como "descrever qualquer coisa, em qualquer lugar, a qualquer momento". Apresentado em junho deste ano, o DAAAM dá ao robô uma espécie de memória de longo prazo: enquanto ele se desloca, um modelo de visão e linguagem escreve legendas detalhadas para os objetos que aparecem nas câmeras, e essas descrições ficam presas a um mapa 3D do ambiente. Depois, uma pessoa pode perguntar em linguagem natural onde viu determinado objeto ou quando passou por ele pela última vez.
A fragilidade está nas próprias legendas. Um modelo que olha para uma imagem ruim pode descrever com toda a convicção algo que não existe. O exemplo citado pelo MIT é curioso: o sistema chegou a confundir uma chaminé cinza com um esquilo. Como as versões anteriores tratavam toda legenda como verdade, o erro entrava na memória e contaminava as respostas futuras.
Como o robô passa a desconfiar de si mesmo
A ideia central do novo sistema é dar a cada objeto uma nota de incerteza. Essa nota combina dois sinais: a confiança do próprio modelo nas palavras que gerou e o grau de concordância entre as descrições do mesmo objeto feitas a partir de pontos de vista diferentes. Se, de um ângulo, o objeto é descrito como uma lixeira azul e, de outro, como uma caixa de correio, a dispersão entre as legendas denuncia que algo está errado.
Quando a nota passa de um limite, o UQ-DAAAM escolhe outras imagens do mesmo objeto que tenham mais chance de esclarecer a dúvida, como quadros mais nítidos, mais próximos ou com o objeto inteiro. Os pesquisadores provaram matematicamente que essa escolha dispensa rodar o modelo de visão de novo, o que poupa processamento. Em seguida, um modelo de linguagem funde as legendas selecionadas em uma descrição única, dando mais peso às observações mais recentes e menos ambíguas. Tudo isso acontece com o robô em movimento, atualizando a memória continuamente.
Os resultados
Os testes foram feitos com o conjunto de dados público CODa, que reúne sete trajetos gravados por um robô, somando quase 99 mil imagens, com percursos de até 35,8 minutos e 1,64 quilômetro. Com um orçamento de apenas duas consultas extras por objeto, o sistema conseguiu tirar da zona de incerteza 92,3% dos objetos que haviam sido marcados como duvidosos. Para comparação, escolher imagens apenas pela qualidade resolveu 34,2% dos casos, e escolher ao acaso, 5,6%.
Na prática, isso se traduz em respostas melhores. Em um teste de perguntas sobre o que o robô viu, onde e quando, a precisão subiu de 71,1% no DAAAM original para 76,1% no UQ-DAAAM, um ganho de cerca de cinco pontos percentuais, e também superou a variante mais forte usada como comparação. Segundo o artigo, o sistema roda a 13,5 quadros por segundo em uma única placa de vídeo RTX 4090, acima da taxa de 10 quadros por segundo dos sensores, ou seja, a revisão não atrasa o robô.
O que isso significa para você
Ninguém vai comprar um robô com UQ-DAAAM na loja tão cedo: trata-se de uma pesquisa acadêmica, financiada em parte pelo Laboratório de Pesquisa do Exército e pelo Escritório de Pesquisa Naval dos Estados Unidos. Ainda assim, o problema que ela ataca é muito concreto. Robôs domésticos, de armazém ou de inspeção que respondem a perguntas sobre o ambiente precisam saber quando não sabem. Um assistente que garante ter visto suas chaves na cozinha quando, na verdade, confundiu um objeto qualquer com elas é pior do que um que admite a dúvida.
A mesma lógica vale para os assistentes de inteligência artificial em geral, que costumam responder com a mesma segurança quando acertam e quando inventam. Carlone resume a ideia ao dizer que permitir que um robô saiba o que não sabe será essencial para usar essa tecnologia com segurança.
O que ainda não se sabe
Mesmo com o bom resultado, cerca de 8% dos objetos incertos continuaram sem solução no orçamento testado, e o desempenho depende da qualidade dos modelos de visão e de linguagem e de o robô ter passado por ângulos suficientes de cada objeto. Os testes também se concentraram em um único conjunto de dados.
A equipe pretende levar o sistema a outros tipos de máquina, como robôs móveis com braços manipuladores, e usar a nota de incerteza para indicar áreas do mapa que o robô deveria visitar de novo. Vale acompanhar a apresentação na NeurIPS e a eventual liberação do código, que dirão se a abordagem se sustenta fora do laboratório.
Fontes consultadas:
