Revolut diz cortar 90% do custo de IA em código com modelo aberto

A fintech britânica trocou a IA paga por uso por um modelo aberto hospedado por ela mesma para 2.000 engenheiros. O que a conta mostra e o que ela deixa de fora.

A Revolut diz ter cortado cerca de 90% do custo de IA para programação ao adotar como padrão um modelo aberto hospedado por ela mesma, no lugar de serviços pagos por uso. A fintech britânica serve cerca de 2.000 engenheiros com 56 GPUs Nvidia e modelos da chinesa Z.ai, segundo reportagem do The Register publicada na terça (3), sobre uma palestra de David Abitbol, da área de operações da empresa, na conferência AI Engineer. A AI Chat Daily confirma os números centrais.

Como ler esse número

Os dados são da própria Revolut, e o The Register não informa a base de comparação nem o método dos 90%. O custo citado, de US$ 0,30 por milhão de tokens, não inclui nuvem, equipe e monitoramento.

A empresa também não abandonou os modelos pagos. O modelo aberto só trabalha com texto, então pedidos com imagem vão para outros fornecedores. Abitbol resumiu a lógica dizendo que a cobrança é fixa e que o modelo de ponta virou exceção.

Antes, segundo ele, havia engenheiros gastando de US$ 1.000 a US$ 10.000 por mês com pouco retorno. Depois da troca, o maior ganho apareceu fora da escrita de código, em depuração e chamados internos. A Revolut relata melhora de 60% no tempo de codificação e de 70% no tempo de entrega.

O que isso muda para a sua empresa

1. Compare o custo total, não o preço do token. Inclua infraestrutura, gente e monitoramento. Poucas empresas têm 2.000 engenheiros para diluir essa estrutura. Para a maioria, o caminho pode ser um modelo aberto contratado de um provedor.

2. Decida qual tarefa merece o modelo mais caro. Essa parte vale em qualquer tamanho. Classifique o uso e reserve o modelo de ponta para o que precisa dele. A conta saiu do orçamento nas empresas americanas, e esse é um freio concreto.

3. Trate modelo aberto como fornecedor. Abitbol diz que o risco de modelos chineses está em usá-los por APIs operadas na China, não em rodá-los em infraestrutura própria ou nuvem regional. Ainda assim, um teste recente com um modelo da Alibaba mostra por que convém limitar o que ele acessa e registrar o que ele faz.

Em 29 anos de programação, vi muita economia sumir quando entra o custo de operar. Vale fazer a conta antes de mudar a arquitetura.


Publicado originalmente no IWA7 Insights, o blog da IWA7 Digital, que agora faz parte do Escovando Bytes.

Continue lendoVer tudo →
Newsletter

Bytes de sexta.

Um e-mail por semana com os vídeos novos, os artigos e as histórias que valem seu tempo.