METR amplia gráfico de IA com tarefas que exigem julgamento

METR amplia gráfico de IA com tarefas que exigem julgamento

Publicado em 20/11/2026 12 visualizações

Ainda sem avaliações

Atualização da METR inclui tarefas abertas e indica que modelos ainda ficam atrás de pessoas em avaliações que exigem julgamento.

METR amplia avaliação de modelos

A organização sem fins lucrativos METR atualizou seu gráfico de horizonte temporal, que compara a duração de tarefas concluídas por pessoas e modelos de inteligência artificial. A nova versão inclui atividades estimadas como mais longas que as da avaliação original e tarefas abertas, cujo sucesso depende de julgamento.

Na avaliação original, pessoas realizaram as tarefas e o tempo de conclusão serviu para medir sua dificuldade. Os modelos foram avaliados pela duração das tarefas que conseguiam concluir. O gráfico indicava que, a cada quatro meses, dobrava a duração das tarefas concluídas pelos modelos mais avançados. Na nova avaliação, porém, os tempos são em sua maioria estimativas.

Programação é mais fácil de verificar

Em tarefas verificáveis, como programação e matemática, é possível conferir automaticamente se uma solução funciona. Esse retorno permite treinar modelos com aprendizado por reforço: os pesquisadores reforçam os caminhos associados a acertos e enfraquecem os ligados a falhas.

Aplicar o método a tarefas de sucesso menos definido, como escolher uma direção de pesquisa, é mais difícil. Ainda assim, essas atividades podem ser essenciais para automatizar pesquisa e desenvolvimento de inteligência artificial.

Modelos ainda falham em tarefas abertas

A METR pediu a modelos que criassem novas avaliações para uso em suas pesquisas e submeteu as propostas a seus funcionários. Nenhuma foi considerada útil, embora os modelos mais avançados já superem quase todos os seres humanos em engenharia de software.

Em outra tarefa, os modelos avaliaram argumentos filosóficos para testar sua capacidade de julgamento e também ficaram abaixo do desempenho humano. A METR observa que seus funcionários divergem sobre quanto essa atividade representa as tarefas necessárias para automatizar pesquisa e desenvolvimento de IA.

Os resultados sugerem melhora: modelos recentes, como o Opus 5.5, chegaram à categoria que a METR chama de “limítrofe acima do nível esperado” na criação de avaliações. Ainda não são úteis para a pesquisa da organização; um ano antes, todos os modelos estavam claramente abaixo desse patamar.

Projeções seguem incertas

Há poucas tarefas abertas na avaliação, o que dificulta prever se e como os modelos continuarão avançando nessa área. Estimar atividades que podem levar centenas de horas ou exigir especialistas é caro e demorado. Na avaliação de argumentos filosóficos, uma única pessoa classificou a maioria das respostas, e os modelos foram julgados pela concordância com esse avaliador.

Especialistas também divergem sobre como interpretar a diferença entre tarefas verificáveis e abertas. Sayash Kapoor, pesquisador de ciência da computação, considera que o julgamento de pesquisa — escolher perguntas, hipóteses e experimentos promissores — pode ser um grande obstáculo à automação de pesquisa e desenvolvimento de IA. Outros avaliam que modelos treinados em tarefas fáceis de verificar poderão, no futuro, executar tarefas abertas. Em um relatório recente, a OpenAI também apontou que seus modelos têm desempenho pior em tarefas reais atribuídas por funcionários do que nas atividades mais simples e verificáveis do gráfico original da METR.

Como as tarefas abertas são difíceis de criar e avaliar, ainda não há dados suficientes para estabelecer tendências tão consistentes quanto as observadas em atividades mais fáceis de especificar. A atualização amplia os métodos de avaliação, mas não permite conclusões definitivas sobre se, ou quando, modelos poderão automatizar pesquisa e desenvolvimento de IA. MIT Technology Review

Autor

Jaime LinharesEmpresa

CEO do Guia de TI

Comentários

0

Comece a conversa.
Seja a primeira pessoa a comentar este conteúdo.

Deixe um comentário

Entre no nosso grupo!