WhatsApp

IA do KAIST lê lábios em vídeo sem áudio e tem taxa de erro de palavras de 19,4%

O DLLM-VSR liderou entre métodos treinados no LRS3, com taxa de erro de palavras de 19,4% após 433 horas de vídeos rotulados.

Por Jaime Linhares · 17/11/2026

Modelo identifica palavras pelos movimentos dos lábios

Pesquisadores do Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST) desenvolveram o DLLM-VSR, uma inteligência artificial que identifica palavras a partir de movimentos labiais em vídeos sem áudio. O sistema teve o melhor resultado entre os métodos treinados com o mesmo conjunto de dados.

Um dos desafios da leitura labial automatizada é distinguir palavras que produzem movimentos muito parecidos. Consoantes como p, b e m, por exemplo, podem ter aparências praticamente idênticas durante a fala, dificultando a identificação dos termos apenas pelas imagens.

Como o DLLM-VSR interpreta as frases

O sistema usa um modelo de linguagem baseado em difusão, chamado DLLM. Em vez de processar a frase apenas em sequência, da esquerda para a direita, identifica primeiro as palavras sobre as quais tem mais confiança e usa esses termos para preencher lacunas.

O modelo também estima possíveis comprimentos de frase com base na duração do vídeo, produz uma transcrição para cada opção e seleciona a versão mais plausível. Para isso, considera informações de diferentes partes da fala, não apenas as palavras que aparecem antes de cada lacuna.

Resultado no benchmark LRS3

Nos testes, o DLLM-VSR registrou taxa de erro de palavras (WER) de 19,4% no benchmark LRS3, após treinamento com 433 horas de vídeos rotulados. O índice foi o melhor entre os métodos avaliados que usaram o mesmo conjunto de dados.

A WER contabiliza palavras reconhecidas incorretamente, omitidas ou acrescentadas durante a transcrição; não representa a porcentagem de conversas completas compreendidas corretamente. A precisão do sistema também varia conforme os dados usados nos testes.

Possíveis usos e desafios

A leitura labial automatizada pode apoiar recursos de acessibilidade para pessoas surdas ou com deficiência auditiva. Dispositivos poderiam converter conversas em texto a partir de imagens mesmo quando não há gravação de áudio, ampliando as situações em que esse tipo de recurso pode ser usado.

A tecnologia também pode ajudar em ambientes industriais e locais barulhentos, como restaurantes ou espaços com música alta, onde a comunicação por voz é prejudicada. O DLLM-VSR ainda precisa de ajustes para reduzir o processamento e funcionar em tempo real, sem internet, em robôs e dispositivos vestíveis.

O sistema segue em desenvolvimento e ainda não chegou ao público ou ao mercado. A possibilidade de interpretar conversas a partir de vídeos sem áudio também levanta preocupações de privacidade, pois a análise não depende do registro sonoro da fala.

Visitar site
Informações deste conteúdo

Tecnologias: DLLM-VSR, Inteligência Artificial

Carreiras: Engenheiro de Inteligência Artificial, Especialista em Acessibilidade Digital, Especialista em Processamento de Imagens

Idiomas: Português

Tags: acessibilidade, desempenho, desenvolvimento, ia, privacidade, teste