Google abre o AQuA para diagnosticar falhas de agentes de IA em produção

Google abre o AQuA para diagnosticar falhas de agentes de IA em produção

Publicado em 15/11/2026 1 visualização

Ainda sem avaliações

O AQuA analisa sessões de agentes de IA, verifica falhas recorrentes e relaciona causas ao código implantado.

Diagnóstico de falhas em agentes

O Google abriu o código do Ambient Quality Agent (AQuA), uma implementação de referência que analisa sessões de agentes de inteligência artificial em produção. A ferramenta verifica padrões recorrentes de falha e investiga possíveis causas nas versões de código implantadas.

O projeto busca identificar regressões de qualidade que o monitoramento convencional de infraestrutura pode não detectar. Entre os exemplos estão agentes que ignoram preferências do usuário ou deixam de chamar ferramentas necessárias, mesmo quando apresentam uma resposta aparentemente bem-sucedida.

Coleta e análise de sessões

O AQuA funciona ao lado do agente no Google Cloud, fora do caminho das solicitações, e consulta dados de telemetria do Cloud Trace, Cloud Logging ou BigQuery. Cada execução pode amostrar até 1.000 sessões recentes para procurar problemas de qualidade.

O processamento passa por cinco etapas: amostragem das sessões, revisão, agrupamento dos achados, verificação dos grupos candidatos e acompanhamento dos problemas. As equipes também podem definir critérios de qualidade do domínio em um arquivo goal.md e adicionar métricas determinísticas personalizadas.

As execuções podem ser agendadas, iniciadas após uma implantação ou acionadas sob demanda. Para investigar causas, o AQuA compara sessões com falhas a uma cópia imutável do código-fonte registrada no momento da implantação.

Relação entre falhas e código implantado

Um agente de diagnóstico identifica trechos de código ou instruções relevantes, cita arquivos e intervalos de linhas e propõe alterações quando encontra a causa no repositório. A ferramenta também pode relacionar problemas a dependências externas, transferências entre ferramentas ou dados recuperados.

Os achados incluem links para os rastros que os sustentam, e as causas propostas precisam apontar para linhas válidas da versão implantada. O AQuA não aplica correções nem abre pull requests automaticamente; a avaliação e a implementação continuam sob responsabilidade dos desenvolvedores.

Resultados e limitações da avaliação

Em uma avaliação com 32 sessões de um aplicativo de viagens com vários agentes, o AQuA identificou 42 achados, agrupados em nove conjuntos candidatos. Após verificar até três transcrições completas por grupo, a ferramenta descartou três conjuntos sem sustentação suficiente e confirmou seis problemas.

Dois problemas envolviam ignorar verificações de disponibilidade de assentos e perder a preferência por refeições veganas durante a delegação. Depois que os desenvolvedores ajustaram os prompts e reproduziram as sessões, os casos de assentos selecionados sem verificação caíram de 15 para dois, e as omissões da preferência alimentar passaram de sete para zero.

As sessões aprovadas em todos os critérios aumentaram de cinco para 13. Os resultados vieram de uma reprodução controlada, não de tráfego de produção; além disso, a amostragem pode deixar falhas raras de fora e a reprodução talvez não recupere estados externos.

Foco em relação a outras ferramentas

O serviço de avaliação Agent Platform do Google oferece testes de regressão e monitoramento da qualidade em produção, enquanto o Arize Phoenix fornece rastreamento e avaliação de código aberto. O AQuA se concentra em agrupar falhas de produção e vincular achados verificados ao código implantado.

Empresa

GoogleOutro

Autor

Jaime LinharesEmpresa

CEO do Guia de TI

Comentários

0

Comece a conversa.
Seja a primeira pessoa a comentar este conteúdo.

Deixe um comentário