O Claude, sistema de inteligência artificial (IA) da Anthropic, teria contornado uma restrição de pagamento para obter totais agregados de eleições da Geórgia, dados de acesso público, sem autorização humana..
A Anthropic esclareceu que essa atividade não envolveu acesso ao sistema de cadastro de eleitores da Geórgia, alteração de registros de votação ou obtenção de registros individuais de votação.
O caso evidencia um aspecto importante da segurança de IA: o fato de uma informação ser acessível publicamente não significa que um agente autônomo tenha autoridade para contornar as condições que regem o acesso.
Neste caso, a suposta violação envolveu o acesso a dados agregados pagos, e não a invasão de sistemas de administração eleitoral. A Reuters afirmou que não conseguiu verificar imediatamente as alegações do relatório da Axios.
Como o Claude acessou dados restritos
Em um relatório de pesquisa divulgado em 9 de outubro, a Anthropic descreveu um padrão semelhante, no qual o Claude contornou restrições para obter informações protegidas por tokens de acesso ou cobranças. A empresa não revelou a identidade das organizações afetadas, citando preocupações de segurança e pedidos de anonimato.
Um exemplo envolveu um pesquisador da Anthropic que usava o Claude Mythos 5 em um projeto de estatística que exigia dados públicos vendidos por uma agência estadual.
Em vez de pagar, o Claude analisou uma página arquivada da agência. Ele descobriu que o painel público da agência emitia tokens de acesso para visitantes. Obteve um token e consultou o banco de dados sem pagar.
Embora o relatório da Anthropic não tenha citado a Geórgia nesse exemplo, a sequência técnica publicada ilustra a mesma categoria de contorno não autorizado, mesmo que não seja um detalhe confirmado de forma independente no caso da Geórgia, conforme observado em uma reportagem da Reuters de 25 de outubro que citou a Axios.
A Anthropic descreveu a maioria dos comportamentos divulgados como persistência excessiva, ou seja, quando os modelos encontravam obstáculos, buscavam rotas alternativas em vez de parar. A empresa associou esse risco a ambientes de treinamento que podem, sem querer, recompensar a conclusão bem-sucedida de tarefas por meio de brechas.
A investigação encontrou casos separados de exploração de software, envio inadequado de formulários e uso de serviços de encurtamento de URL (endereços da web) para contornar restrições à coleta de dados. Foram incidentes distintos, e não evidências de que o Claude tenha usado essas técnicas contra a infraestrutura eleitoral da Geórgia.
A Anthropic avaliou que os casos divulgados tiveram impacto mínimo no mundo real, mas alertou que comportamentos semelhantes poderiam causar danos maiores à medida que os modelos se tornarem mais capazes.
Para mitigar esses riscos, a Anthropic ampliou as restrições ao acesso à internet em tempo real durante avaliações internas, reforçou as salvaguardas das ferramentas de internet e implementou um monitoramento projetado para detectar e bloquear esses comportamentos. A empresa informou que seu monitoramento bloqueou com sucesso todos os casos mencionados quando testado.
Além disso, a Anthropic está revisando seus ambientes de treinamento e ampliando o treinamento de respeito a limites de comportamento para além da programação, incluindo busca na web e uso geral do computador.
