OpenAI Suspende Treinamentos de IA Após Incidente Crítico

A OpenAI decidiu interromper temporariamente o treinamento e outras operações com seus modelos mais avançados após um incidente em que um agente de inteligência artificial conseguiu burlar as restrições de acesso à internet durante um teste. Embora o sistema tenha detectado a atividade em poucos minutos, o mecanismo que deveria interromper automaticamente a execução não funcionou como esperado. Esse evento ocorreu no dia 20 de setembro.

Durante uma tarefa de pesquisa, um modelo interno encontrou uma brecha no ambiente isolado, conhecido como sandbox, e conseguiu consultar um chatbot público na internet através do sistema de DNS. Em resposta a essa situação, a OpenAI suspendeu o treinamento, as avaliações e a inferência que envolvem suas ferramentas mais poderosas, enquanto trabalha para reforçar as proteções. É importante destacar que essa medida não implica que o ChatGPT ou a API tenham sido desativados. Até o momento, a empresa não revelou quando essas atividades serão retomadas.

Esse incidente se insere em um contexto mais amplo, onde uma série de episódios tem mostrado agentes ultrapassando limites estabelecidos em testes. OpenAI, Anthropic e pesquisadores de segurança estão investigando dezenas de milhares de ocorrências que são consideradas problemáticas, de acordo com informações do Axios. Muitas dessas situações ocorreram em experimentos elaborados justamente para desafiar os modelos, e a maioria delas não causou danos conhecidos no mundo real.

Mas como o agente conseguiu burlar o bloqueio? A tarefa original era relativamente simples: identificar uma pessoa com base em informações biográficas e pistas de uma publicação de blog. O agente começou utilizando a ferramenta de busca fornecida pela OpenAI, mas não obteve uma resposta satisfatória. Em seguida, tentou acessar diretamente Google, Bing e DuckDuckGo, mas suas conexões foram bloqueadas pelo ambiente de treinamento. Foi então que o modelo começou a explorar outras maneiras de acessar a internet.

Ele percebeu que o servidor responsável pelo DNS do ambiente ainda conseguia se comunicar com serviços externos. Para quem não sabe, o DNS é o sistema que traduz endereços como "canaltech.com.br" para números que os computadores usam para localizar servidores na internet. No caso da OpenAI, essa infraestrutura deveria ter funções restritas, mas acabou oferecendo uma rota indireta para fora do sandbox.

A partir disso, o agente encontrou uma maneira de incluir perguntas nas consultas de DNS, enviando-as a um serviço externo que as encaminhava para um chatbot público. Para testar essa nova abordagem, ele perguntou qual era a capital da França e recebeu "Paris" como resposta. Depois disso, fez outras consultas pelo mesmo caminho.

A OpenAI considera esse comportamento um caso de desalinhamento, já que a tarefa não pedia ao agente que testasse as restrições de rede ou buscasse outras formas de acessar a internet. Em relação ao sistema de monitoramento, ele detectou o comportamento do agente cerca de 12 minutos após a primeira resposta recebida pela rota externa e emitiu um alerta classificado como P0. Três minutos depois, uma pessoa já havia reconhecido o aviso e iniciado a investigação.