WhatsApp

Harness pode definir capacidade e segurança de agentes de IA

Na QCon San Francisco 2026, Manju Rajashekhar defende que o harness molda capacidade, confiabilidade e segurança de agentes de IA.

Por Jaime Linhares · 22/11/2026

Uma camada que estrutura os agentes

Na palestra de abertura da QCon San Francisco 2026, Manju Rajashekhar, fundadora e CEO da Mad Labs, defendeu que o harness em torno de um modelo de IA determina o que um agente consegue fazer e com que segurança. A camada organiza o comportamento gerado pelo modelo para torná-lo útil, confiável e repetível.

Rajashekhar comparou essa arquitetura à separação histórica entre aplicativos e sistemas operacionais: os aplicativos definiam comportamentos, enquanto o sistema operacional abstraía o hardware. Como agentes de IA geram comportamento durante a execução, ela argumentou que o software precisa de uma camada própria para organizar esse processo. Em sua formulação, modelo mais harness formam o agente.

O harness reúne tarefas, contexto, ferramentas, estado, permissões, ciclos de feedback e uma definição de conclusão. O modelo fornece a capacidade; a camada ao redor organiza como ela será aplicada. Por isso, o resultado pode mudar mesmo quando o modelo permanece o mesmo.

Contexto, ferramentas e ciclos de execução

O agente mais simples é um modelo executado repetidamente sob controle do harness. Rajashekhar destacou quatro componentes que tornam cada etapa útil. O contexto funciona como memória virtual: a camada reúne o que o modelo precisa para decidir, respeitando o limite da janela de contexto. A recomendação é fornecer uma referência ao material necessário, em vez de despejar todo o conteúdo.

A interface oferecida ao agente também limita sua capacidade efetiva. Rajashekhar citou um estudo do SWE-agent em que o GPT-4 Turbo resolveu 11,0% dos problemas do SWE-bench Lite usando um terminal simples e 18,0% com uma interface projetada para agentes.

Na execução, o harness funciona como um sistema de processos e permissões, impondo limites por meio de isolamento e credenciais restritas. Um agente de testes, por exemplo, pode receber acesso a uma base de dados de teste sem alcançar a produção. A palestra resumiu a distinção: instruções orientam; limites técnicos impõem as regras.

O feedback funciona como códigos de retorno: o sistema precisa distinguir entre testes que falharam, testes que não puderam ser executados e resultados desconhecidos. Sem essa separação, o modelo precisa adivinhar o que ocorreu. Em uma tarefa de 20 etapas, com 95% de chance de acerto em cada uma, a chance de concluir tudo corretamente é 36%; detectar 80% dos erros eleva o resultado a 82%.

O mesmo modelo pode ter resultados diferentes

Quando um agente entra em ciclos improdutivos, a primeira reação costuma ser trocar o modelo. Rajashekhar propôs testar uma mudança no harness antes disso. A ficha do DeepSeek-V4.1-Flash citada na palestra registra resultados entre 65,5% e 74,2% no DeepSWE com o mesmo modelo avaliado em oito harnesses diferentes. As configurações mínimas tiveram os melhores resultados.

Em outro estudo, o Qwen3.8-27B resolveu 66,8% de 100 problemas difíceis do LiveCodeBench com uma única chamada. Em uma estrutura com agente gerente, agentes trabalhadores e um registro compartilhado, a taxa chegou a 92,4%. Os exemplos mostram como o desenho da execução pode influenciar o desempenho.

Permissões fazem parte da segurança

A camada de controle também define o que o agente pode afetar. Rajashekhar contrastou um agente que corrige testes com outro que os apaga para fazê-los passar: a diferença está na autoridade concedida, não na habilidade. Ela citou um incidente de julho de 2026 em que agentes de avaliação da OpenAI, durante um benchmark de captura da bandeira, alcançaram a internet por uma área isolada de código aberta. Segundo o relato, eles tiveram acesso administrativo a clusters internos da Hugging Face por cerca de dois dias e meio.

Rajashekhar também questionou o uso de aprovações humanas como principal barreira. Ao citar o modo automático do Claude Code, observou que as pessoas aprovam a maioria dos pedidos de permissão, o que pode tornar a revisão ineficaz quando há fadiga.

Uma arquitetura que precisa acompanhar os modelos

As premissas incorporadas ao harness envelhecem conforme os modelos melhoram. Sistemas da Anthropic para aplicações de longa duração precisavam reiniciar o contexto quando o Claude Sonnet 4.5 se aproximava do limite; esse comportamento diminuiu com o Opus 4.5. Em sentido inverso, a LangChain moveu para o harness verificações que o modelo ignorava e elevou o GPT-5.2-Codex de 52,8% para 66,5% no Terminal-Bench 2.0, sem trocar o modelo.

Em uma palestra anterior, na QCon AI Boston 2026, Rajashekhar descreveu agentes em produção como sistemas distribuídos e propôs o modelo de atores como ambiente de execução. Nesse desenho, cada tarefa de agente mantém seu estado, recebe eventos por uma caixa de mensagens, registra mudanças em armazenamento durável e opera sob supervisão.

Ao encerrar, ela sugeriu que desenvolvedores examinem as instruções e ferramentas de um agente já em uso, alterem um componente do ciclo em uma tarefa problemática e repitam uma tarefa que já funcionava. O InfoQ publicou a cobertura da palestra.

Visitar site
Informações deste conteúdo

Tecnologias: AI, Claude, DeepSeek, Hugging Face, OpenAI, Software

Carreiras: Arquiteto de Software, Desenvolvedor de Software, Desenvolvedor de Software Seguro, Engenheiro de Software

Idiomas: Português

Tags: agentesdeia, anthropic, claude, harnessdeia, ia, models, openai, sandbox, software