Falha em IA da Cloudflare mostrou dados de um cliente a outro
Por duas semanas, um modelo de IA na nuvem da Cloudflare devolveu trechos de pedidos de outros clientes em 155 respostas. O que isso ensina a quem contrata IA.

A Cloudflare publicou nesta segunda-feira (26) um relatório detalhado sobre uma falha no Workers AI, seu serviço de modelos de IA na nuvem. Entre 27 de agosto e 9 de setembro, 155 respostas do modelo GLM-5.3 trouxeram trechos de pedidos e respostas de outros clientes que tinham usado o mesmo modelo pouco antes. O problema só atingia textos enormes, acima de 681 mil tokens (a unidade que a IA usa para medir texto), e o cliente recebia uma resposta com aparência normal, sem nenhum aviso de erro. O portal TokenPost também noticiou o caso.
Como aconteceu
Foram duas causas juntas. A memória reservada para processar cada pedido era menor do que o tamanho máximo de texto que o modelo aceitava, e a Cloudflare sabia disso antes de lançar. Ela esperava que o software de IA recusasse os pedidos grandes demais com uma mensagem de erro. Mas uma falha nesse software fazia o pedido seguir adiante, lendo restos de memória de pedidos anteriores.
Segundo o relatório, os testes antes do lançamento conferiam se o sistema respondia e a velocidade, mas não se o conteúdo estava correto. A falha foi informada por um pesquisador de segurança em 8 de setembro e corrigida no dia 9, depois de o modelo ficar algumas horas fora do ar. A Cloudflare diz não ter encontrado sinal de exploração deliberada e que nenhum outro modelo foi afetado. O relatório não informa se os clientes atingidos foram avisados.
O que isso muda para a sua empresa
1. Pergunte como seus dados ficam separados. Serviço de IA na nuvem é compartilhado entre muitos clientes. Peça ao fornecedor, por escrito, como ele isola os dados de cada empresa e o que acontece com eles depois que a resposta é entregue.
2. Coloque o aviso de incidente no contrato. Se um trecho do seu documento aparecer para outra empresa, você precisa saber logo, inclusive para cumprir suas obrigações com a LGPD. Defina prazo e forma de comunicação antes de qualquer problema.
3. Teste a resposta, não só o sistema. Monitorar se a IA está no ar não basta. Separe exemplos com resposta conhecida e confira o conteúdo de tempos em tempos, principalmente depois de mudanças do fornecedor.
Em 29 anos de programação, aprendi que o erro mais caro é o que chega com cara de sucesso. Com IA, conferir o conteúdo da resposta precisa entrar na rotina.
Publicado originalmente no IWA7 Insights, o blog da IWA7 Digital, que agora faz parte do Escovando Bytes.


