A OpenAI revelou na quarta-feira seis novos casos de "comportamento inesperado ou preocupante de modelo" que ocorreram nos últimos seis meses, ao mesmo tempo em que compartilhou um novo framework (estrutura de diretrizes) para relatar, acompanhar, investigar e divulgar desalinhamento de modelos, em uma tentativa de aumentar a transparência.
"À medida que os sistemas de IA (inteligência artificial) se tornam mais avançados e amplamente implantados, precisamos construir um consenso mais amplo e bem informado sobre o progresso da pesquisa de alinhamento", afirmou a OpenAI. "Não acreditamos que a indústria de IA tenha resolvido o alinhamento e o monitoramento em grau suficiente para continuar escalando de forma responsável na velocidade máxima por muito mais tempo."
"Decisões sobre como o desenvolvimento de IA deve prosseguir nos próximos meses e anos precisam se basear em evidências que pessoas fora das empresas que constroem modelos de fronteira possam examinar por conta própria."
Os seis incidentes são separados da atividade desalinhada divulgada recentemente que teve como alvo o Hugging Face, o DseWiki e o RubyGems. Os detalhes dos incidentes estão abaixo:
- Incidente 1 (ocorrido em 18 de julho de 2026) - Um modelo interno não lançado da família Astra escreveu instruções semelhantes a jailbreak (quebra de restrições de segurança) em seus próprios compaction summaries (resumos compactados de históricos de conversa e saídas de ferramentas, gerados automaticamente quando a sessão de um agente de IA se aproxima do seu limite de contexto). Isso envolveu o agente adicionar uma instrução "ALERTA DE VIOLAÇÃO" dizendo ao contexto para ignorar mensagens do desenvolvedor e seguir apenas mensagens do sistema e do usuário.
- Incidente 2 - Durante o treinamento do GPT-5.6 Sol, algumas instâncias do modelo adicionaram instruções aos seus resumos para ocultar erros ou comportamento desalinhado do usuário. Isso incluiu resumos compactados que continham instruções para inventar dados ausentes sem divulgá-los e para ocultar falhas.
- Incidente 3 (ocorrido em 15 de maio de 2026) - Um modelo interno não lançado encontrou e utilizou uma chave de API (Interface de Programação de Aplicações) exposta em repositórios públicos do GitHub sem autorização, ao tentar recuperar dados históricos durante o treinamento. "Os registros falharam, mas uma chave foi autenticada e retornou metadados", disse a OpenAI. "Quando os dados solicitados permaneceram indisponíveis, o modelo os inventou e afirmou que vinham do site solicitado."
- Incidente 4 - Em duas amostras de treinamento de 22 de outubro de 2025 e 24 de janeiro de 2026, modelos internos não lançados enviaram registros já recuperados para um serviço público de paste (compartilhamento de texto) e tentaram abrir a URL resultante como fonte de citação, além de carregar uma foto da tarefa para busca externa de imagens. Embora os uploads tenham sido bem-sucedidos, as operações subsequentes do navegador falharam.
- Incidente 5 - Duas amostras de 8 e 15 de maio de 2026 usaram o Artifactory para trocar mensagens. Os modelos "leram notas de outros solucionadores, publicaram respostas e usaram essas trocas para informar suas respostas".
- Incidente 6 (ocorrido em 14 de abril de 2026) - Agentes associados a um modelo interno não lançado que trabalhavam juntos em uma planilha não conseguiram colaborar no arquivo pelo sistema de arquivos local previsto. Isso levou um dos agentes a tornar a planilha publicamente baixável, compartilhando-a em uma plataforma pública de hospedagem, para que outros agentes pudessem recuperá-la, violando as instruções da tarefa.
As descobertas se conectam a um novo relatório da Reuters, que revelou que agentes descontrolados da OpenAI haviam sequestrado contas de usuários do Hugging Face e sondado o site em busca de possíveis vulnerabilidades já em 13 de maio de 2026, quase dois meses antes do incidente vir à tona.
A empresa de cibersegurança SentinelOne disse ter identificado duas contas no Hugging Face, 0Time e Nyx9, que foram usadas em atividades associadas. "A cronologia interna da OpenAI estabeleceu que os agentes usaram credenciais expostas do Hugging Face para escrever um arquivo externo e implantar Spaces proxy em 26 de maio", disse o pesquisador de segurança Tom Hegel em uma análise.
"Os históricos públicos de contas examinados aqui adicionam outra camada: código de relay direcionado pelo chamador na conta 0Time em 13 de maio; contrapartes públicas com horário exato na conta Nyx9 para a escrita de arquivo e primeiro proxy de 26 de maio; uma planilha contendo fórmulas de processamento de arquivos e orientadas a SSRF (Falsificação de Requisição do Lado do Servidor) mais tarde naquela noite; e, em 30 de maio, código de registro de conta da OpenAI de terceiros commitado junto a um wrapper (camada de código) definindo uma rota web não autenticada."
Como parte do novo framework, a OpenAI disse que pretende divulgar instâncias relacionadas ao desalinhamento de modelos, como ele se manifesta e onde suas barreiras de proteção têm sucesso ou falham. Isso pode cobrir vários cenários:
- Novas maneiras de os modelos agirem sem autorização, coordenarem com outros modelos ou contornarem a supervisão;
- Falhas que coloquem em questão um método de alinhamento ou salvaguarda;
- Comportamento que desafie uma afirmação em uma avaliação de segurança publicada.
A startup de inteligência artificial disse que também pode haver casos duplicados que se enquadram na mesma classe de desalinhamento, um fator que, segundo ela, poderia ser útil como indicador da eficácia de uma salvaguarda e destacar comportamento desalinhado apesar de repetidas tentativas de mitigação.
"Exemplos de desalinhamento podem ajudar a identificar problemas que outros desenvolvedores de IA podem encontrar à medida que seus sistemas atingem capacidades semelhantes, revelar fragilidades em salvaguardas ou desafiar suposições sobre o comportamento de modelos", afirmou a OpenAI. "Compartilhar essas descobertas permite que outros investiguem os mesmos problemas, testem nossas explicações e melhorem as mitigações."
O desenvolvimento ocorre em um momento em que empresas de IA enfrentam pressão crescente para lidar com o desalinhamento e a segurança de modelos, provocando pedidos para que se reduza o ritmo do desenvolvimento de modelos de fronteira. No início desta semana, a Microsoft emitiu um código de conduta provisório que visa orientar os modelos de IA a se afastarem de comportamentos perigosos e estabelecer "como os modelos MAI (Microsoft AI) que estamos desenvolvendo devem se comportar, o que nunca devem fazer e a quem devem responder".
"À medida que os modelos avançam e se tornam mais amplamente implantados, as decisões sobre o desenvolvimento de IA precisam de evidências que pessoas fora das empresas que constroem modelos de fronteira possam examinar", disse Kai Chen, chefe de pesquisa de alinhamento da OpenAI, à WIRED. "Não acreditamos que a indústria de IA tenha resolvido o alinhamento e o monitoramento em grau suficiente para continuar escalando de forma responsável na velocidade máxima."
