Falha em IA da Cloudflare mostrou dados de um cliente a outro

Por duas semanas, um modelo de IA na nuvem da Cloudflare devolveu trechos de pedidos de outros clientes em 155 respostas. O que isso ensina a quem contrata IA.

A Cloudflare publicou nesta segunda-feira (26) um relatório detalhado sobre uma falha no Workers AI, seu serviço de modelos de IA na nuvem. Entre 27 de agosto e 9 de setembro, 155 respostas do modelo GLM-5.3 trouxeram trechos de pedidos e respostas de outros clientes que tinham usado o mesmo modelo pouco antes. O problema só atingia textos enormes, acima de 681 mil tokens (a unidade que a IA usa para medir texto), e o cliente recebia uma resposta com aparência normal, sem nenhum aviso de erro. O portal TokenPost também noticiou o caso.

Como aconteceu

Foram duas causas juntas. A memória reservada para processar cada pedido era menor do que o tamanho máximo de texto que o modelo aceitava, e a Cloudflare sabia disso antes de lançar. Ela esperava que o software de IA recusasse os pedidos grandes demais com uma mensagem de erro. Mas uma falha nesse software fazia o pedido seguir adiante, lendo restos de memória de pedidos anteriores.

Segundo o relatório, os testes antes do lançamento conferiam se o sistema respondia e a velocidade, mas não se o conteúdo estava correto. A falha foi informada por um pesquisador de segurança em 8 de setembro e corrigida no dia 9, depois de o modelo ficar algumas horas fora do ar. A Cloudflare diz não ter encontrado sinal de exploração deliberada e que nenhum outro modelo foi afetado. O relatório não informa se os clientes atingidos foram avisados.

O que isso muda para a sua empresa

1. Pergunte como seus dados ficam separados. Serviço de IA na nuvem é compartilhado entre muitos clientes. Peça ao fornecedor, por escrito, como ele isola os dados de cada empresa e o que acontece com eles depois que a resposta é entregue.

2. Coloque o aviso de incidente no contrato. Se um trecho do seu documento aparecer para outra empresa, você precisa saber logo, inclusive para cumprir suas obrigações com a LGPD. Defina prazo e forma de comunicação antes de qualquer problema.

3. Teste a resposta, não só o sistema. Monitorar se a IA está no ar não basta. Separe exemplos com resposta conhecida e confira o conteúdo de tempos em tempos, principalmente depois de mudanças do fornecedor.

Em 29 anos de programação, aprendi que o erro mais caro é o que chega com cara de sucesso. Com IA, conferir o conteúdo da resposta precisa entrar na rotina.


Publicado originalmente no IWA7 Insights, o blog da IWA7 Digital, que agora faz parte do Escovando Bytes.

Continue lendoVer tudo →
Newsletter

Bytes de sexta.

Um e-mail por semana com os vídeos novos, os artigos e as histórias que valem seu tempo.