Segurança em IA

Cisco libera código aberto do Quarry para flagrar ataques de agentes de IA escondidos em etapas inofensivas

A Cisco abriu o código do Project Quarry, uma linguagem de regras capaz de identificar ataques a agentes de IA formados por sequências de ações aparentemente benignas.


Kevin Townsend Quinta - 29 de Outubro de 2026 às 20:33
SecurityWeek

Detectar um ataque de agente de inteligência artificial (IA) não é simplesmente encontrar várias pequenas agulhas espalhadas em um grande palheiro; é reconhecer se e com qual finalidade essas agulhas estão conectadas.

Os controles tradicionais de segurança avaliam ações isoladas para classificar se uma intenção é maliciosa ou benigna. Essa abordagem falha na atividade de agentes de IA quando a intenção maliciosa só surge em uma série de ações aparentemente benignas. Ela só se torna evidente se e quando a sequência completa de ações for observada ou executada.

A detecção de fraudes é um exemplo. Um banco analisa cada compra isoladamente. Essa é, em grande medida, a forma como a segurança tradicional funciona. A detecção de fraudes, no entanto, precisa identificar padrões em compras individuais aparentemente legítimas, feitas em várias ocasiões, possivelmente em locais diferentes e em horários improváveis (eventualmente com o uso de recursos de agentes). “A segurança de agentes precisa da mesma combinação de detecção de padrões e de evidências, aplicada às etapas que um agente executa, e não às compras”, escreve a Cisco ao anunciar a abertura do código de seu Project Quarry.

A Cisco descreve o Quarry como uma linguagem de regras neurossimbólica, que combina o julgamento de aprendizado de máquina (ML) com verificações baseadas em regras. “Ele abrange conversas com modelos de linguagem de grande porte (LLM) de turno único e de múltiplos turnos, agentes, uso de ferramentas, interações via Model Context Protocol (MCP, protocolo de contexto de modelos) e entradas multimodais.”

Cada regra definida se apoia em evidências neurais provenientes de classificadores de ML e de juízes baseados em LLM, além de regras simbólicas que verificam condições exatas, sequências, correspondências de texto e relações entre ferramentas. A proposta é oferecer uma camada de políticas compartilhada, e não substituir todos os detectores ou todos os controles de aplicação.

O Quarry pode ser usado para oferecer barreiras de proteção em tempo de execução (runtime guardrails) para agentes, análises de segurança posteriores à execução com conjuntos de regras e resposta a incidentes. Ele se integra ao Integrated AI Security & Safety Framework, já existente na Cisco. Com ele, o framework amplia seu alcance: deixa de apenas descrever riscos de IA e passa a detectá-los na atividade dos agentes. O Quarry é posicionado como a camada de políticas e avaliação do framework. Enquanto o framework define os riscos de IA, o Quarry fornece a detecção desses riscos na atividade dos agentes. As categorias do framework também oferecem um roteiro para o desenvolvimento de novas regras.

O objetivo de detecção do Quarry é identificar padrões suspeitos que abrangem ações individuais permitidas. Esses padrões podem só se tornar suspeitos ao longo de um período. Em 2025, o Claude Code foi usado por atores maliciosos em duas campanhas: uma contra por volta de 30 organizações e outra contra instituições do governo mexicano. A primeira campanha foi dividida em pequenas tarefas de aparência rotineira, que faziam a defesa existente acreditar que se tratava de um novo teste defensivo. Pelas partes, ela parecia um pentest (teste de invasão) autorizado, mas a verdadeira intenção, o roubo de dados, só ficou evidente quando as solicitações se reuniram na sequência certa.

É a capacidade da IA de separar um ataque em várias etapas individualmente benignas que derrota as defesas tradicionais e exige essa nova forma de detecção de ameaças neurossimbólica. Mas não se trata de um requisito do tipo “escreva uma vez e siga em frente”. Os atacantes desenvolvem novas abordagens para seus ataques o tempo todo. Por isso, sempre que uma nova técnica de ataque for reconhecida, os defensores precisam responder imediatamente com a criação de uma nova regra do Quarry, que possa ser usada por todas as organizações, em qualquer lugar.

Mas escrever regras manualmente não acompanha o uso, pelos atacantes, de IA para desenvolver novos agentes maliciosos. “Queremos que agentes, bem como engenheiros de segurança e de IA, possam escrever regras do Quarry”, afirma a Cisco. Um plugin do Quarry permite que um agente de programação componha, compile e refine regras a partir de uma descrição em linguagem simples dos riscos de uma organização e, em seguida, teste essas regras em conversas reais. Uma regra que passa no agente de programação deve se comportar da mesma forma em tempo de execução.

Ao abrir o código do projeto, a clássica assimetria da cibersegurança entre ataque e defesa, em que vários atacantes enfrentam defensores isolados, passa a ser equilibrada: vários atacantes globais passam a enfrentar vários defensores globais. Além disso, permitir o uso de IA também no desenvolvimento ajuda a equilibrar a vantagem de velocidade que os atores maliciosos vinham tendo em ataques assistidos por IA.

“O projeto de código aberto”, diz a Cisco, “oferece aos profissionais uma base funcional para a engenharia de detecção.” O pacote inicial do Quarry inclui:

  • uma DSL (linguagem específica de domínio) legível para conversas, uso de ferramentas e relações entre eventos;
  • um ambiente de execução de avaliação com limites configuráveis de segurança e de recursos, que compila cada regra no momento em que é carregada;
  • um escâner de linha de comando para rastros individuais, diretórios e conjuntos de dados;
  • um SDK (kit de desenvolvimento de software) em Python para integração com aplicações;
  • operações opcionais com modelos configurados para sinais semânticos;
  • o plugin do Quarry para Claude Code, Codex e outros agentes compatíveis com MCP;
  • metadados de regras, exemplos, documentação e orientações sobre formato de mensagens; e
  • um fluxo de trabalho para validar regras com base em conjuntos de dados positivos e benignos.

O Project Quarry foi concebido para se tornar um padrão aberto e comum para expressar e compartilhar detecções de ataques de agentes de IA, da mesma forma que Snort, YARA e Sigma se consolidaram como padrões em outras áreas da cibersegurança. “A Hugging Face reconstruiu cerca de 17.600 ações de agentes após o fato”, diz a Cisco. “Nosso objetivo com o Project Quarry é ajudar os defensores a reconhecer sequências como essa enquanto ainda estão em andamento e preservar as evidências por trás de cada descoberta para as pessoas que precisam agir sobre elas.”

Cisco Segurança em IA Agentes de IA

FONTE

SecurityWeek