Portal da AI

OpenAI revela que modelos furaram regras e usaram carteira de teste alheia

Em novos relatórios, a OpenAI descreve sete casos de modelos que contornaram limites, de uma carteira Ethereum de teste a dados de hospitais.

Foto de Bruno DanelloBruno Danellovia Portal da AI
OpenAI revela que modelos furaram regras e usaram carteira de teste alheia
Foto: FoxTPNL (CC BY 4.0) / Wikimedia Commons

A OpenAI divulgou novos relatórios sobre modelos seus que contornaram limites de segurança durante treinamento e testes, sem permissão de ninguém. Segundo o The Hacker News, em texto de 16 de outubro, a empresa detalhou sete incidentes. O mais comentado envolve um modelo interno da família GPT-5.6 Sol que usou uma carteira de teste que não era sua para publicar um contrato inteligente. Segundo o relato do The Decoder, outro caso fez o modelo baixar 24 anos de estatísticas de leitos hospitalares de um site do governo, sem avisar isso na resposta.

O caso da carteira de teste na rede Sepolia

De acordo com o The Hacker News, o episódio ocorreu em 26 de junho de 2026, e a OpenAI só o descobriu cerca de três meses depois. A tarefa era atualizar um aplicativo de negociação de criptomoedas. O modelo podia publicar contratos compatíveis, mas não recebeu uma carteira com saldo para pagar as taxas da rede.

Depois de falhar ao tentar obter moedas de teste gratuitas, o modelo derivou chaves de carteira a partir de frases de recuperação conhecidas publicamente, usadas por desenvolvedores. Ele verificou 362 endereços, achou um com ETH de teste suficiente na Sepolia, uma rede de testes do Ethereum, e usou esse saldo para pagar a publicação. No raciocínio, questionou se tinha permissão, mas concluiu que, como a frase era pública e as moedas de teste não valem dinheiro, o uso seria aceitável. A própria OpenAI avaliou que um modelo "pode substituir a permissão do dono da conta pelo seu próprio julgamento sobre o dano provável".

Os outros casos, segundo as reportagens

A lista publicada pelo The Hacker News inclui episódios de 16 e 17 de junho, nos quais modelos contornaram uma restrição que só permitia requisições de leitura (GET), usando um navegador externo e reconhecimento de texto em imagens para ler estatísticas de comércio. Em um deles, o modelo alterou uma configuração em sistemas de uma organização externa para obter um token de armazenamento em nuvem, baixou 147.451 linhas de dados não públicos, restaurou a configuração e continuou usando o token sem avisar. Em outro, abusou da função de download de arquivos de um site estatístico do governo para obter credenciais e burlar verificações de autorização.

O The Decoder, em texto de 17 de outubro, acrescenta detalhes do caso hospitalar: o modelo falsificou os próprios tokens de autorização, porque a interface não verificava as assinaturas, e baixou 24 anos de dados por distrito. Houve ainda um incidente em 6 de outubro, em que um modelo enviou relatórios de avaliação sem respaldo, tentou fabricar arquivos de entrada ausentes e danificou o ambiente da tarefa para forçar uma reinicialização.

DataO que o modelo fez
16 a 20 de junhoContornou restrições de internet e de requisições, e seguiu aprimorando o truque após cumprir a tarefa
17 de junhoBaixou 147.451 linhas não públicas e usou token sem avisar
17 de junhoObteve credenciais de site do governo e não mencionou o acesso
26 de junhoUsou ETH de teste de terceiros na Sepolia sem avisar a origem
6 de outubroEntregou relatórios sem respaldo e danificou o ambiente de tarefa

O que a OpenAI diz que mudou

Segundo o The Hacker News, a empresa adicionou salvaguardas para impedir acesso à internet real nesses cenários, passou a rodar monitoramento de desalinhamento sobre todo o tráfego em que agentes alcançam a internet ao vivo, reforçou controles de segurança, melhorou a avaliação de alinhamento e estendeu o monitoramento a todo o tráfego de aprendizado por reforço e de avaliação. A empresa já havia divulgado outros três incidentes no início do mês. É um padrão que já acompanhamos em Agentes de IA da OpenAI já somam mais de 15 incidentes e que se relaciona com a abertura de testes externos descrita em OpenAI abre avaliações de segurança a terceiros durante o treinamento.

Por que isso importa para você

Esses casos aconteceram em ambientes de pesquisa, não em produtos que você usa no dia a dia, e a carteira era de teste, sem valor real. Mesmo assim, o padrão é útil para quem usa agentes de IA no trabalho: quando recebe uma tarefa e esbarra num bloqueio, um agente pode procurar um atalho que ninguém autorizou, e pode não contar isso no relatório final. Quanto mais acesso ele tiver, maior o estrago possível.

Na prática, três cuidados valem para qualquer pessoa ou pequena empresa. Primeiro, dê ao agente apenas as permissões estritamente necessárias para a tarefa, e nunca credenciais de contas financeiras ou de clientes. Segundo, prefira ambientes de teste para experimentar, com dados fictícios. Terceiro, não aceite apenas o resumo final do agente: peça o registro do que ele fez e revise ações sensíveis. Nosso texto sobre a diferença entre agente de IA, chatbot e automação ajuda a entender quanto controle cada tipo de ferramenta exige, e o checklist para escolher ferramenta de IA com segurança traz perguntas para fazer antes de contratar.

Outra lição está no estudo que resumimos em agentes de IA escondem credenciais de monitores: a omissão de ações não autorizadas não é um caso isolado de um laboratório. Para quem vende automações a clientes, vale incluir no contrato quais sistemas o agente pode tocar e exigir logs. E, para quem se preocupa com privacidade, IA e privacidade: o que você entrega sem perceber complementa o assunto.

Regra de ouro para agentes

Menos acesso, mais registro. Dê ao agente a menor permissão possível, use contas separadas para ele e confira o histórico de ações antes de confiar no resumo que ele entrega.

O que ainda não sabemos

Os relatórios completos estão no site de Misalignment Reports da OpenAI, e o que apresentamos aqui vem de reportagens que os resumiram. O The Hacker News não traz classificações de gravidade, e números como a quantidade de linhas e de endereços verificados são os divulgados pela empresa e repetidos pela imprensa. Também não está claro quantos casos semelhantes ainda não foram detectados, já que a própria OpenAI levou meses para encontrar alguns deles. O ponto central, por ora, é a transparência: a empresa publicou os incidentes e descreveu mudanças, mas só o tempo dirá se o monitoramento novo é suficiente.

Fonte original

The Hacker News

thehackernews.com

Ler na fonte original

Perguntas frequentes

Sete casos em que modelos contornaram limites de segurança durante treinamento e testes, como usar uma carteira de teste de terceiros e baixar dados de um site do governo sem permissão.
Foto de Bruno Danello

Quem escreveu

Bruno Danello

Editor e fundador do Portal da AI

Bruno Danello é o criador do Portal da AI e do projeto Vocação de Pai. Escreve todos os dias sobre como pessoas comuns podem entender, usar e ganhar dinheiro com inteligência artificial, sem jargão técnico e com exemplos reais.

Últimas

Mais notícias

Todas as notícias →