Revisão humana não basta: regule o risco da IA tarefa por tarefa

Analistas seguiram o agente de IA em 86% das escolhas. Colocar um humano no fim não é controle. Veja como dar autonomia à IA por tarefa, com medição, sem perder as rédeas.

“Fica tranquilo, tem um humano revisando.” Essa frase virou o calmante oficial de todo projeto com agente de IA. Ela aparece na apresentação do fornecedor, na ata do comitê e na resposta ao jurídico.

Na semana passada, um estudo mostrou por que ela não basta. E, no mesmo dia, a Oracle anunciou que o ChatGPT vai executar ações dentro do ERP e a IDC disse que empresa sem botão de desligar vai pagar mais. A IA está ganhando mão, e a nossa proteção continua sendo um visto no fim do processo.

Minha tese: autonomia de IA não é uma decisão da empresa, é uma decisão por tarefa. E quem libera essa autonomia deve ser a medição, não a impressão de quem usa.

O que o estudo da Anthropic expôs

A Anthropic publicou um experimento controlado com 50 analistas profissionais usando um agente de IA para avaliar um programa de uma cooperativa agrícola fictícia. Em quatro escolhas de método, com duas opções defensáveis cada, uma moeda definia em segredo para que lado o agente pendia.

Os analistas ficaram com a opção do agente em 86% das vezes, quando o acaso daria cerca de 50%. Entre os que já tinham escolhido uma opção, 60% mudaram quando o agente discordou, embora esse número venha de só 38 casos. E 77% repetiram argumentos do agente nas próprias explicações, mas apenas 15% deram crédito a ele.

Os limites importam, e os próprios autores os apontam. A preferência foi reforçada de propósito, foi uma tarefa só, com um modelo só, e os analistas não conheciam o setor agrícola. No dia a dia, o efeito pode ser menor.

Há também um dado a favor da IA. Dos 50 que usaram o agente, 6% cometeram erros graves de método. Entre os 11 que trabalharam sem ele, foram 6 pessoas, ou 55%, mas esse grupo tinha menos experiência e os autores avisam que a comparação não prova causa.

Juntando as duas pontas, a leitura que faço é esta: a IA tende a reduzir o erro de execução e, ao mesmo tempo, conduz a escolha de caminho. Revisão no fim pega conta errada. Não pega critério escolhido por outro. Os autores dizem isso de outro jeito: quem revisa só é uma checagem independente se o julgamento for mesmo dele.

Enquanto isso, muita empresa já soltou o agente

Do outro lado, há quem nem revisão tenha. Uma pesquisa da RealVNC com decisores de TI nos Estados Unidos, no Reino Unido e no Canadá diz que quase três em cada quatro empresas deixam agentes agirem sem aprovação prévia. Só 26,4% conseguem revogar o acesso de um agente. Entre as que deixam agir sem aprovação, 75,5% não têm como fazer isso. A RealVNC vende acesso remoto e o comunicado não informa quantas empresas ouviu, então leia como sinal, não como retrato do mercado.

Uma pesquisa com amostra pequena e autosselecionada do VentureBeat, com 108 pessoas em julho, aponta na mesma direção: 49% tiveram um incidente visível para o cliente depois de uma função de IA passar nos testes internos. E só 28% do grupo que já permite mudanças sem aprovação checa automaticamente se a resposta está certa.

O mercado, curiosamente, não pede nenhum dos dois extremos. A G2 analisou 3.222 avaliações de empresas com mais de mil funcionários. Entre os 1.746 que responderam sobre autonomia, 60% preferem autonomia com limites definidos, 11% querem um humano em toda ação e só 7% querem autonomia total.

Humano em toda ação também não escala. Na mesma análise, a G2 cita pesquisa própria em que 31% das empresas gastam seis horas ou mais por semana supervisionando agentes. Quem revisa tudo acaba assinando sem ler.

Vermelho, amarelo e verde

O melhor modelo que encontrei para sair desse falso dilema vem de Richard Stockley, no livro Intent-Driven Development, distribuído de graça. Ele fala em “botões de risco”, com três posições:

  • Vermelho: a pessoa revisa e aprova antes de seguir. O que o agente entrega é sugestão.
  • Amarelo: o agente segue e a pessoa revisa uma amostra, podendo desfazer.
  • Verde: o agente age sozinho e a pessoa é avisada. Só depois de confiança comprovada.

Três ideias do Stockley me parecem as mais importantes. Todo mundo começa no vermelho. Quem regula o botão é a empresa, não a IA nem o fornecedor. E algumas coisas nunca saem do vermelho: estratégia, limites éticos, segurança, compliance e a aprovação final do que vai para produção.

Faço um acréscimo por causa do estudo da Anthropic: vermelho não é sinônimo de seguro. Se a pessoa aprova o que a IA propôs sem ter pensado antes, o botão está no vermelho e o controle está no verde.

O movimento gradual também tem base em dados de uso. Num estudo da Anthropic sobre o agente de programação da empresa, usuários novos liberavam aprovação automática em cerca de 20% das sessões, e os mais rodados, em mais de 40%. Mas os experientes interrompiam mais: cerca de 9% dos turnos, contra 5% dos novatos. Saíram de aprovar cada passo para vigiar e intervir. É um público técnico, mas a lógica vale: autonomia boa não é largar, é mudar a forma de acompanhar.

O que o gestor deve fazer

1. Liste o que a IA faz, tarefa por tarefa. Para cada uma, responda três perguntas: dá para desfazer? Quem é afetado se der errado? Envolve dinheiro, dado pessoal ou obrigação legal? Resumir uma reunião e aprovar um crédito não podem morar no mesmo botão.

2. Comece no vermelho e escreva o que nunca sai de lá. Essa lista cabe em uma página e deve ter dono. Decisão que afeta cliente merece atenção extra: o artigo 20 da LGPD dá à pessoa o direito de pedir revisão de decisões tomadas só por tratamento automatizado. Se ainda não sabe onde está exposto, a autoavaliação gratuita leva 2 minutos.

3. Defina o critério para mudar de botão antes de usar. Stockley sugere uma referência: revisão total abaixo de 85% de fidelidade à intenção, amostragem entre 85% e 95% ao longo de vinte ou mais entregas e só monitoramento acima de 95% em cinquenta ou mais. Ajuste à sua realidade, mas tenha um número. E combine que o botão também volta.

4. Nas decisões de julgamento, peça a opinião antes da IA. O responsável registra a própria posição em duas linhas, e só então consulta o agente. Configure o agente para mostrar as alternativas, com prós e contras, em vez de uma resposta pronta. Os autores da Anthropic sugerem caminho parecido.

5. Teste o desligamento. A IDC prevê que, até 2028, grandes empresas sem botão de desligar pagarão 25% a mais em seguro de responsabilidade e terão o dobro de apontamentos de auditoria. É previsão, não fato, mas o teste é barato: uma vez por trimestre, simule. Quem desliga, em quanto tempo e o que acontece com as tarefas pela metade?

6. Cobre do fornecedor quem mexe no botão. Ao contratar um agente, pergunte em que nível ele vem de fábrica, se dá para mudar por tipo de ação e se fica registro de cada ação. A Oracle diz que aprovações e controles continuam valendo, mas o anúncio não explica como. Essa é a pergunta certa para qualquer fornecedor.

Onde a experiência entra

Em 29 anos de programação, nunca vi sistema importante ir para produção sem alguém decidir o que podia falhar e o que não podia. Agente de IA não muda essa conversa. Só deixa a resposta mais urgente, porque ele executa antes que alguém termine de ler.

É esse trabalho que a gente faz na IWA7: olhar tarefa por tarefa, separar o que pode andar sozinho do que precisa de gente e medir antes de soltar. Não para frear a IA, e sim para a empresa poder acelerar sabendo onde está o freio.


Publicado originalmente no IWA7 Insights, o blog da IWA7 Digital, que agora faz parte do Escovando Bytes.

Continue lendoVer tudo →
Newsletter

Bytes de sexta.

Um e-mail por semana com os vídeos novos, os artigos e as histórias que valem seu tempo.