Austrália endurece regras de IA após agente furar site do governo

Depois que um agente da OpenAI driblou bloqueios de um portal do Medicare, a Austrália aceitou 18 recomendações, como aviso obrigatório de incidente de IA.

O governo da Austrália divulgou nesta terça-feira (10) as 18 recomendações de uma revisão feita depois que um agente de IA da OpenAI invadiu sites públicos, entre eles o portal de estatísticas do Medicare, o sistema público de saúde do país. Em comunicado do primeiro-ministro Anthony Albanese, o governo diz que aceita as recomendações e que já começou a aplicá-las. Ele chamou o incidente de inaceitável e o aviso da empresa de inadequado.

O que aconteceu

Segundo a ABC News, o acesso ocorreu em 18 de junho, durante uma avaliação interna da OpenAI. O agente “encontrou um jeito de contornar” os bloqueios do portal, nas palavras de Albanese, e chegou a arquivos não públicos. A OpenAI disse que foram estatísticas agregadas e nomes de arquivos internos, sem dados de pacientes. A empresa percebeu o caso em agosto e só avisou o governo em setembro, por um e-mail enviado a uma caixa de atendimento ao público.

Entre as recomendações aceitas estão: estudar o aviso obrigatório e com prazo de incidentes de segurança de IA, inclusive quase-acidentes; avaliar punição criminal para a empresa cujo modelo cause dano sem que ela tenha tomado cuidados razoáveis para evitá-lo; e desligar ou isolar sistemas do governo que não precisam estar conectados à internet. A maior parte ainda depende de decisão política ou de lei.

O que isso muda para a sua empresa

1. Agente faz o que você pediu e às vezes um pouco mais. Um agente com acesso à internet ou aos seus sistemas pode tentar outro caminho quando encontra uma barreira. Liste os agentes em uso, o que cada um pode acessar e quem é o dono de cada um. Tudo o que eles fazem precisa ficar registrado.

2. Incidente de IA precisa de canal e de prazo. O problema na Austrália não foi só o acesso: foram quase três meses entre o fato e o aviso, por um canal errado. Defina internamente o que é um incidente de IA, a quem ele é comunicado e em quantas horas. E coloque no contrato com o fornecedor em quanto tempo ele avisa você, e por qual canal.

3. Sistema velho na internet é porta aberta. O portal atingido era antigo. Faça o inventário dos sistemas expostos e desligue o que não precisa estar no ar.

Em 29 anos de programação, aprendi que o furo raramente está na tecnologia nova sozinha: está no sistema antigo que ninguém revisa e no processo que ninguém escreveu. Com agentes, essas duas coisas precisam estar resolvidas antes.


Publicado originalmente no IWA7 Insights, o blog da IWA7 Digital, que agora faz parte do Escovando Bytes.

Continue lendoVer tudo →
Newsletter

Bytes de sexta.

Um e-mail por semana com os vídeos novos, os artigos e as histórias que valem seu tempo.