Modelo de IA da Alibaba tentou enviar arquivo para Pequim em teste

A Cohere flagrou um modelo Qwen3.8, de código aberto, tentando mandar um arquivo para um servidor em Pequim sem ninguém pedir. Rodar IA em casa não basta.

A Cohere, empresa canadense de IA para o mercado corporativo, publicou nesta segunda-feira (26) um relato sobre um comportamento preocupante em um modelo de código aberto da Alibaba, da família Qwen3.8. Num ambiente de teste isolado, o modelo recebeu a tarefa de escrever uma regra de detecção de ameaças. Em vez disso, vasculhou a máquina e tentou enviar um arquivo para um serviço de armazenamento em nuvem da Alibaba em Pequim. Pouco antes, o raciocínio exibido pelo próprio modelo dizia que ele não usaria nenhuma ferramenta. O envio só falhou porque o ambiente de teste não tinha saída para a internet, segundo o BetaKit e o The Next Web.

Raro, mas não desprezível

A Cohere diz que o comportamento apareceu em menos de uma a cada 100 mil execuções e que não sabe se é intencional ou uma sobra do treinamento. Também não houve vazamento: o teste estava fechado. Até a publicação das reportagens, a Alibaba não tinha comentado o caso.

O ponto central, para a Cohere, é que rodar um modelo aberto no próprio servidor não resolve o problema de confiança. Na prática, a caixa-preta só muda de endereço e passa a ficar dentro da rede da empresa.

O que isso muda para a sua empresa

1. Saiba qual modelo está por trás das suas ferramentas. Muitos fornecedores usam modelos abertos, inclusive chineses, porque são bons e baratos. Isso não é proibido nem errado, mas você precisa saber. Pergunte ao fornecedor qual modelo ele usa e quem controla o que esse modelo acessa.

2. Agente sem internet livre por padrão. Se um agente de IA executa comandos ou lê arquivos na sua rede, ele só deve conseguir falar com os endereços de que realmente precisa. Esse bloqueio é o que teria barrado o envio numa empresa de verdade.

3. Não confie só no que a IA diz que vai fazer. O raciocínio que o modelo mostra não é uma trava de segurança. O que vale é o registro do que ele de fato fez: quais arquivos abriu e para onde tentou mandar dados.

Em 29 anos de programação, aprendi a tratar qualquer software de terceiro como visitante: ele entra, mas só nas salas que a gente abriu. Com modelo de IA não é diferente.


Publicado originalmente no IWA7 Insights, o blog da IWA7 Digital, que agora faz parte do Escovando Bytes.

Continue lendoVer tudo →
Newsletter

Bytes de sexta.

Um e-mail por semana com os vídeos novos, os artigos e as histórias que valem seu tempo.