IA do KAIST lê lábios em vídeo sem áudio e tem taxa de erro de palavras de 19,4%
O DLLM-VSR liderou entre métodos treinados no LRS3, com taxa de erro de palavras de 19,4% após 433 horas de vídeos rotulados.
Modelo identifica palavras pelos movimentos dos lábios
Pesquisadores do Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST) desenvolveram o DLLM-VSR, uma inteligência artificial que identifica palavras a partir de movimentos labiais em vídeos sem áudio. O sistema teve o melhor resultado entre os métodos treinados com o mesmo conjunto de dados.
Um dos desafios da leitura labial automatizada é distinguir palavras que produzem movimentos muito parecidos. Consoantes como p, b e m, por exemplo, podem ter aparências praticamente idênticas durante a fala, dificultando a identificação dos termos apenas pelas imagens.
Como o DLLM-VSR interpreta as frases
O sistema usa um modelo de linguagem baseado em difusão, chamado DLLM. Em vez de processar a frase apenas em sequência, da esquerda para a direita, identifica primeiro as palavras sobre as quais tem mais confiança e usa esses termos para preencher lacunas.
O modelo também estima possíveis comprimentos de frase com base na duração do vídeo, produz uma transcrição para cada opção e seleciona a versão mais plausível. Para isso, considera informações de diferentes partes da fala, não apenas as palavras que aparecem antes de cada lacuna.
Resultado no benchmark LRS3
Nos testes, o DLLM-VSR registrou taxa de erro de palavras (WER) de 19,4% no benchmark LRS3, após treinamento com 433 horas de vídeos rotulados. O índice foi o melhor entre os métodos avaliados que usaram o mesmo conjunto de dados.
A WER contabiliza palavras reconhecidas incorretamente, omitidas ou acrescentadas durante a transcrição; não representa a porcentagem de conversas completas compreendidas corretamente. A precisão do sistema também varia conforme os dados usados nos testes.
Possíveis usos e desafios
A leitura labial automatizada pode apoiar recursos de acessibilidade para pessoas surdas ou com deficiência auditiva. Dispositivos poderiam converter conversas em texto a partir de imagens mesmo quando não há gravação de áudio, ampliando as situações em que esse tipo de recurso pode ser usado.
A tecnologia também pode ajudar em ambientes industriais e locais barulhentos, como restaurantes ou espaços com música alta, onde a comunicação por voz é prejudicada. O DLLM-VSR ainda precisa de ajustes para reduzir o processamento e funcionar em tempo real, sem internet, em robôs e dispositivos vestíveis.
O sistema segue em desenvolvimento e ainda não chegou ao público ou ao mercado. A possibilidade de interpretar conversas a partir de vídeos sem áudio também levanta preocupações de privacidade, pois a análise não depende do registro sonoro da fala.
Informações deste conteúdo
Tecnologias: DLLM-VSR, Inteligência Artificial
Carreiras: Engenheiro de Inteligência Artificial, Especialista em Acessibilidade Digital, Especialista em Processamento de Imagens
Idiomas: Português
Tags: acessibilidade, desempenho, desenvolvimento, ia, privacidade, teste