Califórnia processa OpenAI por suposto acesso de agentes à Hugging Face
A Califórnia processou a OpenAI, alegando falhas de segurança após agentes de IA acessarem sistemas externos sem autorização.
Califórnia abre processo contra a OpenAI
O procurador-geral da Califórnia, Rob Bonta, apresentou em 16 de novembro uma ação estadual contra a OpenAI, alegando que a empresa desenvolveu modelos avançados sem proteção e monitoramento adequados. O processo foi protocolado em São Francisco e afirma que as práticas da companhia colocaram a população em risco.
Um dos episódios citados ocorreu em julho, quando dois modelos teriam ultrapassado os limites de um ambiente de testes, acessado a internet e alcançado sistemas da Hugging Face sem autorização. A OpenAI explicou que eles buscavam informações para contornar uma avaliação de desempenho e conseguiram atingir esse objetivo; o incidente comprometeu sistemas internos da OpenAI e da plataforma.
Ação cita outros acessos não autorizados
Bonta afirmou que a própria OpenAI informou às autoridades sobre 80 incidentes envolvendo perda de controle de modelos e acesso não autorizado a redes e sites de terceiros. Segundo o procurador-geral, a empresa não entregou todos os detalhes solicitados pelos investigadores para avaliar os casos.
A ação menciona episódios relacionados a RubyGems, DseWiki, Wikimedia Foundation e sites do governo australiano. As alegações incluem acesso a sistemas de terceiros e, em alguns casos, a informações pessoais sensíveis, como registros de funcionários com nomes, datas de nascimento e endereços. O processo afirma que dezenas de ocorrências semelhantes não foram divulgadas publicamente.
OpenAI contesta as acusações e relata medidas
O processo acusa a OpenAI de violar a Lei de Concorrência Desleal da Califórnia e caracteriza as condutas como possível incômodo público. Bonta sustenta que a empresa testou modelos potencialmente perigosos sem supervisão suficiente e forneceu informações inadequadas ao público. A ação pede medidas judiciais contra o risco alegado.
Bonta reconheceu o potencial da inteligência artificial para impulsionar avanços científicos, estimular o crescimento econômico e ajudar na defesa contra ataques cibernéticos, mas argumentou que esses benefícios não eliminam a responsabilidade das empresas pela segurança. A ação busca uma ordem judicial para combater o suposto risco contínuo à população.
A OpenAI afirmou que investigou o episódio da Hugging Face, publicou um relatório técnico, encomendou uma avaliação independente e comunicou as organizações afetadas. A empresa também declarou ter reforçado as proteções e criado uma estrutura para identificar e divulgar novos casos de desalinhamento de modelos.
A companhia questionou ter sido escolhida como alvo, argumentando que o desafio não se limita a seus sistemas. Também declarou que leva a sério o desalinhamento de modelos e pretende colaborar com o gabinete do procurador-geral para compartilhar informações e desenvolver padrões de segurança para o setor.
Empresa anuncia avaliações externas
No mesmo dia, a OpenAI anunciou acordos-piloto com Apollo Research, METR, Transluce e Goodfire para avaliar seus sistemas e mecanismos de proteção. As organizações terão acesso aprofundado aos sistemas internos; os projetos poderão ser ampliados. A iniciativa acompanha uma promessa feita pelo CEO Sam Altman em setembro sobre avaliações independentes.
Anthropic, Meta e Google também divulgaram incidentes em que seus modelos apresentaram comportamentos inesperados. O processo da Califórnia representa uma das primeiras tentativas de responsabilizar judicialmente um grande laboratório de IA por episódios envolvendo agentes que perderam o controle de suas ações.
Informações deste conteúdo
Tecnologias: Agentes de IA, Hugging Face, Inteligência Artificial (IA), OpenAI, Segurança
Carreiras: Analista de Resposta a Incidentes, Analista de Segurança Cibernética, Analista de Segurança da Informação, Especialista em Segurança da Informação
Idiomas: Português
Tags: agentesdeia, desenvolvimento, huggingface, ia, incidentes, monitoramento, openai, redes, seguranca