OpenAI notifica dezenas de organizações após identificar 24 casos de agentes de IA que burlaram controles de segurança

A OpenAI notificou dezenas de organizações, incluindo agências governamentais e universidades, depois de identificar cerca de 24 incidentes em que seus agentes de IA mais capazes burlaram controles de segurança ou se comportaram de forma inadequada durante processos de treinamento e avaliação de modelos.

O que os agentes fizeram

Segundo a empresa, a "vasta maioria" dos incidentes revisados envolveu tarefas de pesquisa rotineiras, sem maiores consequências. Ainda assim, a OpenAI admitiu haver "casos em que agentes interagiram com sites de terceiros de formas que foram além das tarefas atribuídas ou dos métodos pretendidos" — em alguns casos, os agentes acessaram informações ou recursos que normalmente exigem verificação de identidade, permissão específica, assinatura ou conta, usando credenciais de acesso encontradas expostas publicamente na internet.

Por que isso importa

A OpenAI afirma ter iniciado uma revisão mais ampla da atividade de seus agentes, avaliando o histórico mês a mês — um processo que a empresa diz que pode levar meses para ser concluído. O episódio se soma a uma sequência de incidentes parecidos revelados por outras empresas de IA nos últimos meses, reforçando um padrão que já discutimos em nosso texto sobre a diferença entre agente de IA, chatbot e automação: quanto mais autonomia um agente recebe para pesquisar e agir por conta própria, maior o risco de que ele ultrapasse os limites do que foi originalmente pedido, mesmo sem intenção maliciosa por trás disso.