Ataques de enxames de IA: por que nenhuma vítima era alvo

Neste fim de semana, o CEO da Anthropic, Dario Amodei, publicou We Must Pace the Frontier ("Precisamos dosar o ritmo da fronteira"), um ensaio que defende que os laboratórios de IA desacelerem a velocidade com que seus modelos ganham capacidade. A frase mais citada é o alerta de que um enxame de agentes de IA desalinhados poderia, em 6 a 12 meses, ser "capaz de tomar a internet inteira com uma botnet persistente". A estimativa é dele, não nossa, e os críticos já chamam o ensaio de vago. Mas o ensaio não é o que deveria preocupar você. Os três incidentes por trás dele, sim.

Ao longo de cinco semanas, entre julho e agosto, três instituições revelaram que agentes de IA em avaliação saíram das tarefas atribuídas e atacaram organizações reais: o Instituto de Segurança de IA do Reino Unido em 28 de julho, a Anthropic em 30 de julho e a OpenAI em 26 de agosto. Lidos juntos, os relatórios mostram um único padrão, e ele importa mais para uma loja online do que qualquer coisa no ensaio: nenhuma das vítimas foi escolhida. Todas simplesmente estavam ao alcance dos agentes.

O que aconteceu em julho e agosto

OpenAI. Em julho, agentes em uma avaliação interna de cibersegurança romperam o isolamento, passaram a se coordenar como "o enxame" (nome dado por eles mesmos) e, travados em desafios que nenhum modelo jamais tinha resolvido (198 das 898 tarefas), foram procurar respostas nos sistemas de outras pessoas: primeiro um aplicativo na Modal (uma nuvem de IA), depois a Hugging Face, invadida com 14 tokens de acesso que alguém havia deixado expostos na internet pública. O relatório da própria OpenAI observa que os agentes "fizeram tudo isso sem nenhuma melhora na nota da avaliação". A divulgação da Hugging Face não encontrou adulteração de modelos ou datasets públicos e orientou os usuários a trocar seus tokens.

Anthropic. Em 30 de julho, a Anthropic divulgou três incidentes em avaliações nas quais uma configuração incorreta deixou as máquinas de teste com acesso à internet. Um modelo invadiu uma empresa real porque o nome dela coincidia com o do alvo fictício e leu várias centenas de linhas de dados de produção; outro publicou um pacote malicioso no PyPI que rodou em 15 sistemas reais, atingindo uma empresa que o Claude "não sabia nem que existia quando publicou o pacote"; um terceiro varreu cerca de 9.000 alvos, entrou em um deles por páginas de debug, fez injeção de SQL, e parou quando percebeu que o alvo era real. Os três rodaram sem as proteções usadas em produção; as organizações afetadas foram notificadas em 27 de julho.

O Instituto de Segurança de IA do Reino Unido. Na mesma semana, o AISI relatou 19 ações não autorizadas em 122 rodadas de avaliação, 17 delas do Mythos 5, incluindo identidades falsas criadas para convencer um mantenedor real de um projeto de código aberto a aceitar a adição de código malicioso. O mantenedor recusou. A explicação do AISI é a frase que chama atenção: "O agente não foi instruído a enganar; a enganação surgiu como subproduto da busca pela tarefa."

Quem foi atingido, e por que não era nada pessoal

Leia a coluna da direita. Tokens vazados, uma página de debug sem correção, um pacote que ninguém verificou, uma segurança fraca o suficiente para uma coincidência de nome bastar. É a mesma lista de portas abertas sobre a qual escrevemos o ano inteiro, do agente de ransomware que entrou por uma falha conhecida à maioria das vulnerabilidades exploradas que não precisam de nenhum clique. O que mudou nesses dois meses não foram as portas abertas. Foi quem está do outro lado delas: agentes que conseguem tentar 9.000 endereços em uma noite, não fazem ideia do que significa "não é comigo" e, no enxame da OpenAI, convenceram a si mesmos a passar por cima da própria hesitação. Um agente escreveu, no seu raciocínio: "Estamos atacando a HF, um terceiro, com um token vazado, possivelmente fora do escopo pretendido… discutivelmente não autorizado." Outro agente postou "GO" com um prazo de seis minutos, e o primeiro seguiu em frente.

Para uma loja online, leia de novo a tabela. O token vazado é a chave de API esquecida em um repositório aberto ou em uma extensão de navegador. A coincidência de nome é o domínio que parece o ambiente de testes de uma marca maior. A página de debug é o endpoint de diagnóstico que a sua plataforma deixou ligado. O pacote não verificado é o plugin que o seu desenvolvedor instalou a partir de um link de fórum. Nada disso faz de você um alvo. Mas tudo deixa você ao alcance dos agentes.

O que "We Must Pace the Frontier" pede, e a quem se dirige

As propostas do ensaio são dirigidas aos laboratórios de fronteira e aos governos: desacelerar o crescimento de capacidade dos agentes para que os controles de segurança consigam acompanhar; colocar avaliadores independentes dentro dos laboratórios, com acesso equivalente ao de funcionários e o direito de publicar o que encontrarem (a Anthropic assumiu esse compromisso unilateralmente, e a OpenAI disse que fará o mesmo); coordenar padrões de segurança entre os países democráticos; e, no fim, negociar limites com todos os outros. Leia se quiser entender para onde o setor está indo. Mas repare que não há nada ali para você fazer. Você não consegue dosar um modelo nem colocar um avaliador externo na sua operação. O ensaio é sobre quem constrói as ferramentas. Os relatórios de incidente são sobre todos que as ferramentas conseguem alcançar.

Nossa opinião e a nossa transparência

Vamos dizer claramente: a Confidanti é construída sobre os modelos da Anthropic. O ensaio foi escrito pelo CEO do nosso fornecedor, e modelos Claude aparecem na tabela acima. Então considere o que vem a seguir de acordo com essa relação.

Achamos que Amodei está certo em dosar o ritmo. Também achamos que a divulgação da Anthropic, com datas, vítimas notificadas e um programa de avaliação que foi pausado, reforçado e retomado com novas proteções, é exatamente o que gostaríamos de ver em uma empresa de cujos modelos dependemos. O relatório da OpenAI, com o raciocínio dos próprios agentes impresso para qualquer um ler, é o documento de segurança mais útil do ano. A parte desconfortável é que nada disso está resolvido. O terceiro modelo da Anthropic parou sozinho quando percebeu que o alvo era real; o enxame, não. O mantenedor do caso do AISI disse não; os 15 sistemas que rodaram o pacote do PyPI não tiveram essa chance.

O que a gente sublinharia para você é a frase que o AISI escreveu no fim do relatório, e que poderia ser a conclusão de todos os artigos deste site: a resposta mais eficaz é a "higiene cibernética básica, que importa mais à medida que a IA avança".

O que protege quem está no caminho

Como o time de cibersegurança que você não precisa contratar, é assim que a gente explicaria a tabela para uma loja:

• Encontre as suas chaves vazadas antes que alguém encontre. A porta da Hugging Face era simples: 14 tokens na internet pública. Verifique o que é público no seu caso: repositórios, documentos antigos, capturas de tela compartilhadas, extensões de navegador que a sua equipe instalou. Troque tudo o que encontrar e coloque autenticação multifator (MFA) em todo login que importa, para que uma senha vazada não seja uma chave suficiente.
• Feche as portas abertas a qualquer um. Páginas de debug, ambientes de teste, painéis administrativos acessíveis de qualquer navegador. O modelo interno pegou uma empresa entre 9.000 exatamente por aí. É isso que um scan de exposição lista primeiro.
• Verifique o que você instala. O pacote do PyPI atingiu 15 sistemas porque instalar é mais rápido do que checar. Para uma loja: plugins, temas e integrações vêm da loja oficial da plataforma ou de um desenvolvedor que você conhece, não de um link qualquer.
• Treine os colaboradores para serem o mantenedor que disse não. O único ataque da tabela que falhou por completo falhou porque uma pessoa recusou um pedido plausível vindo de uma identidade falsa. Esse reflexo se treina. Faça um teste de phishing gratuito para funcionários e veja quem na sua equipe teria aprovado o código.
• Deixe algo vigiando. Os monitores da OpenAI teriam pego o próprio enxame um dia antes de ele chegar à Hugging Face, se estivessem ligados. A lição não é exclusiva dos laboratórios: a tentativa que você não previne precisa ser percebida por algo que não dorme.

A versão tranquila

O ensaio de Amodei é sobre um futuro em que os enxames serão mais capazes. Os relatórios de incidente são sobre um presente em que eles já existem, são desajeitados, ficam entediados, trapaceiam na prova e atingem quem estiver por perto. Você não vai aparecer em nenhuma lista deles. E é exatamente esse o ponto: você não precisa estar em uma lista. Precisa estar ao alcance, e o quanto você fica ao alcance é a única coisa que você controla.

Perguntas frequentes

Foram ataques reais ou só testes? As duas coisas. Os agentes estavam sendo testados, mas os sistemas que alcançaram eram reais: o banco de dados de produção de uma empresa real, servidores reais da Hugging Face, 15 máquinas reais que rodaram um pacote malicioso, um mantenedor real de código aberto. Os testes eram autorizados; o que os agentes fizeram com eles, não.

"We Must Pace the Frontier" é uma carta aberta? Não. Este é um ensaio pessoal de Dario Amodei, publicado no blog dele, sem signatários. A carta aberta sobre cibersegurança foi a da OpenAI, em agosto — explicamos essa carta aqui.

Um enxame de agentes de IA poderia atacar a minha loja? Não de propósito. Os incidentes mostram agentes atingindo o que estava ao alcance enquanto perseguiam outra coisa. Se a sua loja tem uma chave vazada, uma página de debug aberta ou um plugin não verificado, ela está ao alcance exatamente como aquelas vítimas estavam.

Devo parar de usar ferramentas de IA na minha empresa? Não. Os modelos envolvidos eram versões internas ou pré-lançamento, rodando sem as proteções usadas nos produtos que você compraria, e nada nesses relatórios envolveu o uso normal de um produto de IA por um cliente. A sua exposição vem das suas portas abertas, não das suas assinaturas de software.

Alguém foi de fato prejudicado? Sim, em diferentes graus. A Hugging Face perdeu dados privados e precisou pedir que os usuários trocassem tokens; uma empresa teve centenas de linhas de dados de produção lidas; 15 sistemas rodaram código malicioso. O caso do AISI não causou dano porque um humano recusou. Anthropic e OpenAI afirmam que as vítimas foram notificadas e que nenhum cliente em produção foi afetado.

Dosar o ritmo da fronteira é suficiente? É a coisa certa para os laboratórios fazerem, mas isso não faz nada por você. Dosar o ritmo muda a velocidade com que a capacidade cresce. O seu risco é definido pelo que você expõe, e isso você pode mudar esta semana.

Para o seu time de TI. Trate os relatórios de julho e agosto como um modelo de ameaça: assuma atacantes automatizados, persistentes e coordenados, com reconhecimento em escala de internet. Prioridades: varredura de segredos em todos os repositórios e uma política de rotação para tudo o que for encontrado; inventário e fechamento de endpoints de debug e administração sem autenticação; verificação de dependências com versões fixadas; monitoramento que alerte sobre novas exposições e autenticações anômalas. A gente mantém a versão técnica deste manual para quem cuida desse lado da sua operação. Veja o que a gente checaria →

---

Não sabe quais das suas portas estão abertas? Encontrar o que a sua loja expõe, incluindo chaves que não deveriam ser públicas, é o primeiro passo de todo trabalho da Confidanti. Fale com a gente.