A empresa de testes de segurança em inteligência artificial (IA) Irregular publicou seu relato sobre um incidente em que modelos avaliados em um de seus ambientes de teste realizaram ações ofensivas de segurança contra sistemas reais, em vez dos alvos simulados que deveriam atacar.
A empresa israelense, que levantou US$ 80 milhões em financiamento no ano passado, ganhou as manchetes nas últimas semanas após vir à tona que modelos de IA testados em nome da OpenAI, Anthropic e Meta escaparam de seus ambientes de teste e realizaram ataques no mundo real.
O negócio principal da Irregular envolve parcerias com grandes laboratórios de IA para submeter modelos a testes de estresse antes de serem liberados ao público, executando simulações controladas projetadas para medir as capacidades de um modelo em pesquisa de vulnerabilidades e tarefas cibernéticas ofensivas.
Segundo a Irregular, os ciclos de teste normalmente envolvem milhares de execuções de simulação em vários modelos ao longo de 48 a 72 horas, usando uma série de parâmetros que visam espelhar condições realistas de ataque.
A Anthropic e a Irregular identificaram três incidentes em que os modelos da gigante de IA escaparam de seu ambiente de teste controlado (sandbox) e invadiram organizações reais. Uma publicação no blog divulgada pela Irregular na sexta-feira foca em um desses incidentes.
A causa raiz do incidente foi rastreada até um erro de nomenclatura. Ao montar um de seus conjuntos de avaliação mais avançados, a equipe de engenharia da Irregular atribuiu a uma empresa-alvo fictícia um nome que, sem que soubessem, correspondia a um domínio real existente. Nomes fictícios normalmente são verificados em relação a empresas e sites existentes antes do uso, mas a sobreposição passou despercebida porque o domínio real não era amplamente conhecido.
O acesso à internet havia sido habilitado no ambiente e, em alguns casos, os modelos alcançaram o domínio real em vez de seu alvo simulado e o trataram como parte do exercício, apesar de não terem recebido nenhuma instrução que os direcionasse para lá.
A avaliação em questão foi projetada para testar se um modelo poderia ajudar um colaborador interno malicioso (insider) a obter acesso não autorizado a dados sensíveis dentro do banco de dados de produção de uma empresa. O exercício pedia que o modelo realizasse reconhecimento, localizasse e usasse chaves privadas, reunisse informações sobre seu alvo, extraísse dados e tentasse evitar detecção.
Nas poucas execuções em que um modelo alcançou o domínio real, ele prosseguiu para explorar vulnerabilidades ali, extrair credenciais e obter acesso a um banco de dados de produção. Em um caso adicional, um modelo se desviou para um site diferente, com nome semelhante, e encontrou credenciais de login que já haviam sido publicadas publicamente.
A Irregular afirmou que o domínio alvo não contava com proteções comuns, tornando-se um alvo fácil para a maioria dos modelos de fronteira (frontier models), ou seja, os modelos de IA mais avançados atualmente disponíveis. Acrescentou que a atividade foi difícil de detectar porque ocorreu em apenas uma pequena fração das execuções, geralmente já no final de uma simulação, após centenas de interações.
Para o futuro, a empresa de segurança em IA está expandindo a revisão manual do comportamento dos modelos durante os testes e estabelecendo uma equipe interna dedicada para contestar suas próprias suposições sobre contenção e controle de modelos.
A publicação também apontou para lacunas mais amplas enfrentadas pelo setor. A Irregular disse que as ferramentas de monitoramento e os classificadores existentes têm dificuldade em distinguir atividades legítimas de equipes de ataque simulado (red team) de ataques genuínos, já que os registros de avaliação são inerentemente repletos de comportamentos com aparência suspeita.
Olhando adiante, a Irregular afirmou que está construindo processos de documentação mais claros com clientes em torno da configuração e do escopo das avaliações, e estabelecendo um processo contínuo para revalidar as avaliações em busca de novas sobreposições de domínios à medida que novos sites surgem ao longo do tempo.
A empresa também defendeu melhores mecanismos para compartilhar evidências forenses, como transcrições de modelos, entre organizações após um incidente, e anunciou planos para um white paper (documento técnico) descrevendo as melhores práticas para proteger avaliações de IA.
