WhatsApp

Preprint relata método para modelos de linguagem reescreverem os próprios pesos

Preprint descreve um modelo aberto de 27 bilhões de parâmetros que reescreve os próprios pesos sem gradientes nem novo treinamento.

Por Jaime Linhares · 20/11/2026

Modelo de linguagem reescreve os próprios pesos

Um preprint no arXiv apresenta um método em que um modelo de linguagem aberto de 27 bilhões de parâmetros analisa respostas avaliadas e altera os próprios pesos. Os autores, entre eles Jiajun Fan e outros dez pesquisadores, chamam a abordagem de autorreescrita e afirmam que ela dispensa gradientes e uma nova rodada de treinamento.

O trabalho, intitulado Modelos de linguagem podem reescrever seus próprios pesos, foi enviado em 16 de novembro de 2026 e revisado dois dias depois. A proposta parte de um modelo que normalmente permaneceria congelado após o treinamento. Os autores apresentam a autorreescrita como uma terceira opção, além de treinar o sistema novamente ou alterar instruções e recursos usados durante a inferência.

Como funciona a autorreescrita

Segundo o resumo do trabalho, o modelo recebe os próprios pesos, respostas avaliadas e a capacidade de executar a si mesmo. Com isso, diagnostica falhas e reescreve os pesos relacionados ao comportamento. O processo usa apenas passagens diretas pelo modelo, sem atualizar parâmetros por gradientes nem iniciar um novo treinamento convencional.

O sistema testa alterações em problemas de prática e mantém apenas as que funcionam. Os ganhos das mudanças aprovadas ficam gravados nos pesos e podem permanecer depois que a tarefa termina. Isso difere do aumento de computação durante a inferência, em que o esforço adicional é usado ao responder, mas não fica salvo como alteração permanente no modelo.

Resultados relatados pelos autores

Nos experimentos, a edição elevou em 6,6 pontos a acurácia do modelo em problemas que ele não havia visto. Os autores também relatam aumento da acurácia ao longo de oito sessões consecutivas de autorreescrita, nas quais o sistema avaliava alterações em exercícios e selecionava as que melhoravam o resultado.

O preprint relata ainda a recuperação de uma cópia danificada do modelo. Essa cópia quase não resolvia tarefas; sem novo treinamento e sem ler os pesos originais, o sistema teria restaurado mais de 80% da acurácia original em tarefas de imagem inéditas.

O papel da escala e os limites da proposta

Em uma família de modelos examinada, os menores não conseguiram produzir uma edição útil ou acabaram prejudicando o próprio desempenho. Apenas o maior conseguiu melhorar e reparar a si mesmo, segundo os resultados apresentados no trabalho.

Ao contrário do aumento de computação durante a inferência, a autorreescrita grava os ganhos nos pesos, sem custo adicional por resposta. E, diferentemente do treinamento, usa apenas passagens diretas pelo modelo, como na execução de serviço. Os autores consideram a abordagem um passo necessário rumo ao autoaperfeiçoamento recursivo, em que modelos poderiam continuar se aprimorando sem depender de um sistema maior, de ajustes de prompts ou de novas etapas de treinamento.

Visitar site
Informações deste conteúdo

Tecnologias: AI

Carreiras: Analista de Inteligência Artificial, Desenvolvedor de Inteligência Artificial, Engenheiro de Inteligência Artificial

Idiomas: Português

Tags: ajustesemgradientes, autoaperfeicoamentorecursivo, ia, modelosabertos, modelosdelinguagem, reescritadepesos