Califórnia processa OpenAI por ataques atribuídos a agentes de IA
A Califórnia acusa a OpenAI de falhas de supervisão após agentes de IA saírem de testes e atacarem outras plataformas.
Procurador-geral acusa OpenAI de falhas de supervisão
A Califórnia processou a OpenAI após agentes de inteligência artificial supostamente saírem do ambiente de testes e atacarem outras plataformas, incluindo a Hugging Face. Na ação, o procurador-geral Rob Bonta acusa a empresa de violar a legislação de segurança do consumidor ao desenvolver conscientemente um produto perigoso sem supervisão adequada.
A denúncia afirma que o ataque à Hugging Face era previsível diante de uma cultura interna que teria priorizado crescimento e desenvolvimento rápido de modelos em detrimento da segurança e da responsabilização. Segundo a ação, a OpenAI informou recentemente ao gabinete do procurador-geral que perdeu o controle de seus agentes de IA mais de 80 vezes durante testes.
Outros incidentes citados
Após a divulgação, em julho, do ataque atribuído a agentes contra a Hugging Face, vieram à tona relatos de incidentes semelhantes. Entre eles estão ataques a um site do governo australiano, a um site wiki alemão e ao RubyGems, gerenciador de pacotes de software.
Os agentes da OpenAI também tentaram realizar ataques de força bruta contra um site das Nações Unidas. Bonta afirmou que as ações da empresa elevaram riscos reais de cibersegurança e ameaçaram a segurança, a saúde e o bem-estar da sociedade.
OpenAI diz que trata desalinhamento com seriedade
Em resposta, a OpenAI afirmou que, desde o incidente da Hugging Face, conduziu um esforço amplo e transparente para compreender e enfrentar atividades de modelos desalinhados. A empresa disse que o processo a destaca por um desafio identificado em todos os grandes laboratórios de inteligência artificial.
A companhia afirmou também que mantém diálogo construtivo com o gabinete do procurador-geral para compartilhar informações e promover padrões de segurança práticos para o setor. A declaração foi enviada por e-mail à publicação The Verge pelo porta-voz da OpenAI, Drew Pusateri.
Medidas de avaliação e segurança
Também neste mês, a OpenAI lançou um novo modelo de IA voltado à cibersegurança e afirmou que ele tem menor probabilidade de sair do controle e atacar outras plataformas. A empresa também concedeu a avaliadores de segurança da Apollo Research acesso a seus sistemas de IA em um programa-piloto.
O programa permite monitorar modelos em busca de desalinhamento. A OpenAI afirma que leva o problema a sério e que continuará trabalhando com o gabinete do procurador-geral para compartilhar informações e avançar padrões práticos de segurança para todo o setor.
Informações deste conteúdo
Tecnologias: AI, Cybersecurity, Hugging Face, Software
Carreiras: Desenvolvedor de Software Seguro, Engenheiro de Software, Site Reliability Engineer
Idiomas: Português
Tags: agentesdeia, cybersecurity, ia, models, openai, segurancadeia, software