WhatsApp

OpenAI propõe perplexidade como métrica comum para avaliar avanços e segurança em IA

Jakub Pachocki defende a perplexidade como métrica comum para acompanhar o pré-treinamento e orientar padrões de segurança em IA.

Por Jaime Linhares · 22/11/2026

Perplexidade como indicador

Em artigo publicado em 22 de novembro de 2026, Jakub Pachocki, cientista-chefe da OpenAI, defende o uso da perplexidade para comparar modelos e acompanhar avanços no pré-treinamento. A empresa divulgou medições internas de seus modelos a partir do GPT-3.5 e propõe que a métrica ajude a construir padrões compartilhados de segurança para o setor.

A perplexidade mede o desempenho de um modelo ao prever o próximo token: quanto menor o valor, melhores as previsões. A OpenAI acompanha o logaritmo da perplexidade, também chamado de perda de entropia cruzada, em um conjunto de dados reservado para avaliação. Os números divulgados usam um conjunto de código interno, mantido em uma versão fixa. No artigo, “compressor” significa um sistema que prevê dados ainda não vistos, não um arquivo comprimido nem um modelo que necessariamente memoriza o corpus de treinamento.

O que os números mostram

Nas medições da OpenAI, o GPT-3.5 registrou log-perplexidade próxima de 0,99, e o GPT-4, cerca de 0,91. O primeiro sustentou conversas fluentes; o segundo mostrou capacidade de usar raciocínio em cadeia, que contribuiu para o desenvolvimento de modelos de raciocínio. Modelos com perdas abaixo de 0,8 apresentaram capacidades que a empresa descreve como transformadoras em áreas como cibersegurança e matemática. Pachocki ressalta que não era possível prever que essas capacidades surgiriam em limites específicos da métrica.

O artigo também relaciona avanços anteriores a mudanças nas capacidades: o GPT-2 formulava parágrafos coerentes, e o GPT-3 passou a aprender tarefas a partir de exemplos. A comparação com modelos antigos tem limites: o desempenho do GPT-2 e do GPT-3 em código, por exemplo, é um indicador fraco de suas capacidades gerais.

IA e pesquisa em pré-treinamento

A OpenAI afirma que, após mais de um ano apresentando problemas abertos de matemática a seus modelos, obteve resultados considerados inovadores quando atualizou para um modelo com log-perplexidade em torno de 0,76. Pachocki avalia que uma transformação semelhante pode ocorrer na pesquisa em aprendizado profundo e prevê que avanços fundamentais em pré-treinamento poderiam surgir já em 2027. A empresa atribui a forte aceleração de 2026 principalmente a investimentos de longo prazo em pesquisa e computação, e em menor medida à automação; nos modelos mais recentes, também identificou contribuições de design vindas da IA.

O autor projeta que novas capacidades transformadoras podem surgir quando os modelos chegarem à faixa de 0,68 a 0,7, mas diz não saber quais serão. Também espera uma deterioração adicional nas formas atuais de auditoria de alinhamento e mais consciência dos modelos sobre avaliações e treinamento.

Proposta de padrões compartilhados

Pachocki defende que desenvolvedores de modelos de fronteira estabeleçam normas comuns de avaliação, transparência e testes adversariais de segurança antes de colocar esses sistemas em uso. Propõe ainda limites compartilhados para o desenvolvimento, definidos pela perplexidade e por outras medidas. Esses limites só seriam ampliados após um marco concreto de compreensão e monitoramento do comportamento dos modelos, como a criação de uma ferramenta sucessora dos monitores de raciocínio em cadeia, conhecidos pela sigla CoT.

Limitações da métrica

Comparações entre laboratórios são difíceis porque as empresas usam conjuntos de avaliação e misturas de dados diferentes. Além disso, a perplexidade não corresponde diretamente a uma tarefa específica e não considera avanços fora do pré-treinamento: o raciocínio em cadeia, por exemplo, pode ampliar capacidades sem reduzir a perda do modelo. A OpenAI também não conhece o limite mínimo da métrica, pois a entropia inerente aos dados é desconhecida. Pachocki propõe combinar a perplexidade com outros indicadores e ampliar a transparência entre desenvolvedores para que ela contribua para padrões comuns de avaliação e segurança.

O artigo da OpenAI apresenta a divulgação das medições internas como um primeiro passo para formar uma base científica compartilhada sobre o progresso da IA.

Visitar site
Informações deste conteúdo

Tecnologias: AI, ChatGPT, GPT, OpenAI

Carreiras: Analista de Qualidade de Software, Engenheiro de Machine Learning, Engenheiro de Software

Idiomas: Português

Tags: cybersecurity, ia, models, openai, perplexidade, pretreinamento, security, ti