Datadog leva experimentos em produção à observabilidade de agentes de IA
A Datadog compara versões de agentes de IA em produção por métricas de qualidade, latência, custo, consumo de tokens e erros.
Experimentos levam avaliações para a produção
A Datadog ampliou sua plataforma Agent Observability com o recurso Online Experiments, que permite a equipes de engenharia comparar versões de agentes de inteligência artificial usando tráfego real de produção. A proposta complementa os testes com conjuntos de avaliação predefinidos e mostra como as mudanças se comportam diante de solicitações reais.
Uma versão que se sai bem em testes controlados pode reagir de outra forma a pedidos inesperados, novos fluxos de trabalho ou respostas diferentes de ferramentas. Avaliações fora da produção continuam úteis para detectar regressões conhecidas, mas dependem da variedade dos exemplos e dos critérios incluídos nos conjuntos de teste.
Qualidade e operação são avaliadas juntas
Nos experimentos em produção, as equipes podem dividir aleatoriamente o tráfego entre uma versão de controle e uma variante modificada. A distribuição ajuda a reduzir o efeito de diferenças entre as solicitações dos usuários e permite comparar as versões em condições próximas às do uso real.
O recurso integra avaliadores do Agent Observability à capacidade Experiments. Assim, as equipes podem comparar qualidade, precisão e completude das respostas com duração de execução, consumo de tokens, custo estimado e erros nos fluxos de trabalho. O Feature Flags controla a distribuição do tráfego, permitindo expor uma mudança inicialmente a uma parcela pequena de usuários.
Um teste mostrou ganhos e pontos de atenção
O artigo relata um experimento que comparou GPT-5.6 Luna com GPT-6 Luna, dividindo o tráfego igualmente entre os modelos. Um avaliador baseado em modelo de linguagem atribuiu notas de um a cinco à qualidade das investigações, considerando precisão, completude e se as conclusões eram sustentadas pelas evidências disponíveis.
Segundo os resultados relatados, o modelo mais novo teve redução de 44,3% no custo estimado, enquanto as notas de qualidade ficaram próximas: 3,84 para GPT-5.6 Luna e 3,86 para GPT-6 Luna. O teste também estimou aumento na duração de execução e nos erros do fluxo, mas intervalos de confiança amplos não permitiram concluir que houve regressões definitivas.
Rastros ajudam a investigar o comportamento
Ao examinar rastros individuais dos agentes, engenheiros podem inspecionar chamadas a ferramentas, argumentos enviados e resultados recebidos. No experimento, o GPT-6 Luna forneceu parâmetros inválidos com mais frequência e, em geral, recuperou-se após novas tentativas; esse comportamento não aparecia com clareza na nota geral de qualidade.
A Datadog usou essa observação para aprimorar o tratamento das ferramentas antes de avançar com a mudança de modelo, e as chamadas malsucedidas podem virar novos testes de regressão. A abordagem conecta experimentos de produção ao desenvolvimento, transformando falhas inesperadas em casos de teste para avaliações futuras.
Produtos como LangSmith e Langfuse oferecem rastreamento e avaliação de agentes, enquanto plataformas como LaunchDarkly apoiam lançamentos controlados. A proposta da Datadog é reunir avaliação, experimentação e evidências de execução em seu ecossistema de observabilidade para verificar se uma mudança melhora o desempenho em condições reais.
Informações deste conteúdo
Tecnologias: Datadog, DevOps, IA
Carreiras: Analista DevOps, Engenheiro DevOps
Idiomas: Português
Tags: agentesdeia, devops, experimentosemproducao, ia, llm, models, observabilidade, workflow