WhatsApp

Datadog leva experimentos em produção à observabilidade de agentes de IA

A Datadog compara versões de agentes de IA em produção por métricas de qualidade, latência, custo, consumo de tokens e erros.

Por Jaime Linhares · 17/11/2026

Experimentos levam avaliações para a produção

A Datadog ampliou sua plataforma Agent Observability com o recurso Online Experiments, que permite a equipes de engenharia comparar versões de agentes de inteligência artificial usando tráfego real de produção. A proposta complementa os testes com conjuntos de avaliação predefinidos e mostra como as mudanças se comportam diante de solicitações reais.

Uma versão que se sai bem em testes controlados pode reagir de outra forma a pedidos inesperados, novos fluxos de trabalho ou respostas diferentes de ferramentas. Avaliações fora da produção continuam úteis para detectar regressões conhecidas, mas dependem da variedade dos exemplos e dos critérios incluídos nos conjuntos de teste.

Qualidade e operação são avaliadas juntas

Nos experimentos em produção, as equipes podem dividir aleatoriamente o tráfego entre uma versão de controle e uma variante modificada. A distribuição ajuda a reduzir o efeito de diferenças entre as solicitações dos usuários e permite comparar as versões em condições próximas às do uso real.

O recurso integra avaliadores do Agent Observability à capacidade Experiments. Assim, as equipes podem comparar qualidade, precisão e completude das respostas com duração de execução, consumo de tokens, custo estimado e erros nos fluxos de trabalho. O Feature Flags controla a distribuição do tráfego, permitindo expor uma mudança inicialmente a uma parcela pequena de usuários.

Um teste mostrou ganhos e pontos de atenção

O artigo relata um experimento que comparou GPT-5.6 Luna com GPT-6 Luna, dividindo o tráfego igualmente entre os modelos. Um avaliador baseado em modelo de linguagem atribuiu notas de um a cinco à qualidade das investigações, considerando precisão, completude e se as conclusões eram sustentadas pelas evidências disponíveis.

Segundo os resultados relatados, o modelo mais novo teve redução de 44,3% no custo estimado, enquanto as notas de qualidade ficaram próximas: 3,84 para GPT-5.6 Luna e 3,86 para GPT-6 Luna. O teste também estimou aumento na duração de execução e nos erros do fluxo, mas intervalos de confiança amplos não permitiram concluir que houve regressões definitivas.

Rastros ajudam a investigar o comportamento

Ao examinar rastros individuais dos agentes, engenheiros podem inspecionar chamadas a ferramentas, argumentos enviados e resultados recebidos. No experimento, o GPT-6 Luna forneceu parâmetros inválidos com mais frequência e, em geral, recuperou-se após novas tentativas; esse comportamento não aparecia com clareza na nota geral de qualidade.

A Datadog usou essa observação para aprimorar o tratamento das ferramentas antes de avançar com a mudança de modelo, e as chamadas malsucedidas podem virar novos testes de regressão. A abordagem conecta experimentos de produção ao desenvolvimento, transformando falhas inesperadas em casos de teste para avaliações futuras.

Produtos como LangSmith e Langfuse oferecem rastreamento e avaliação de agentes, enquanto plataformas como LaunchDarkly apoiam lançamentos controlados. A proposta da Datadog é reunir avaliação, experimentação e evidências de execução em seu ecossistema de observabilidade para verificar se uma mudança melhora o desempenho em condições reais.

Visitar site
Informações deste conteúdo

Tecnologias: Datadog, DevOps, IA

Carreiras: Analista DevOps, Engenheiro DevOps

Idiomas: Português

Tags: agentesdeia, devops, experimentosemproducao, ia, llm, models, observabilidade, workflow