Português
Marcar conversa

Nem todas as decisões numa automação precisam de um grande modelo de linguagem

A maioria dos passos numa automação empresarial são pequenas decisões. Este email é spam? Para que departamento deve seguir este pedido? Qual é a urgência? O cliente está a pedir para cancelar?

Nos últimos dois anos, a resposta habitual para tudo isto foi enviar o texto para um grande modelo de linguagem e pedir-lhe que respondesse. Funciona, mas paga-se por uma capacidade de escrita de que ninguém precisa. O modelo gera texto, o código tem de extrair dele uma resposta e, de vez em quando, a resposta chega num formato diferente do esperado.

Uma ideia com alguns anos

Já em 2023, investigadores de Stanford mostraram, no artigo FrugalGPT, que uma cadeia de modelos, do mais barato ao mais caro, consegue igualar o desempenho do GPT-4 com um custo até 98% inferior. Em 2024, investigadores do LMSYS publicaram o RouteLLM, um encaminhador que decide, para cada pergunta, se a envia para um modelo forte ou para um mais fraco. Num dos testes, reduziu o custo em mais de 85% e manteve cerca de 95% do desempenho. A própria documentação da Anthropic recomenda começar pelo seu modelo mais pequeno, o Haiku, em tarefas simples com grande volume.

A novidade de 2026 é outro tipo de modelo, criado de raiz apenas para tomar decisões.

Um modelo que devolve uma decisão em vez de texto

Em setembro de 2026, a TypeSafe apresentou o Jev, um modelo que devolve uma decisão definida: sim ou não, uma escolha a partir de uma lista ou uma pontuação, acompanhada de um nível de confiança calibrado. Não escreve texto nenhum. O preço publicado é de 0,042 dólares por milhão de tokens de entrada, e a saída é gratuita. Para comparação, a empresa indica um intervalo de 0,20 a 10 dólares por milhão de tokens nos modelos de linguagem habituais. O tempo de resposta, segundo a empresa, fica entre 70 e 500 milissegundos. Por agora, o modelo só está disponível em acesso antecipado.

Já existe um concorrente em código aberto: o Laya, da ConvAI Innovations, um modelo pequeno com pesos abertos que responde em cerca de 33 milissegundos. Segundo os autores, só chega a bons resultados depois de ser ajustado aos dados do cliente. Sem esse ajuste, fica perto de uma escolha ao acaso.

O que aconteceu quando foi testado

A empresa de software Pelcro publicou um teste detalhado. Em outubro, descreveu como pôs o Jev a avaliar a relação entre cada par de páginas do seu site, 361 páginas no total, para escolher ligações para artigos relacionados. O resultado foram 129 960 decisões, em menos de seis minutos, com um custo total de 87 cêntimos. Depois de acrescentarem regras, a precisão das ligações subiu de 64% para 81%. Um modelo de linguagem pequeno teria custado cerca de 2 dólares pelo mesmo trabalho. Os embeddings, a forma clássica de medir a semelhança entre textos, teriam custado cerca de um cêntimo. Também aqui, portanto, a escolha depende da pergunta a que é preciso responder, e o preço é apenas uma parte da questão.

A Vals AI, uma empresa de avaliação independente, testou o Jev com 400 afirmações retiradas de relatórios financeiros de empresas. Acertou em 390, exatamente como o GPT-6 Astra, com um custo cerca de 498 vezes inferior. No entanto, os 12 modelos testados obtiveram todos entre 95% e 99,5%, pelo que o teste não era particularmente difícil. Num teste com perguntas jurídicas, o Jev ficou em último lugar entre os 12, com o nível de confiança menos fiável.

O investidor Tomasz Tunguz testou o Jev com 98 conversas do seu próprio email. O modelo de linguagem que usava até então acertou em 47% dos casos, e o Jev em 80%. É uma amostra pequena, de uma só pessoa, mas mostra a rapidez com que se pode fazer uma comparação destas com dados reais.

Onde não encaixa

  • Perguntas que exigem um juízo complexo, como a interpretação jurídica. É aqui que os testes mostram uma fraqueza clara.
  • Verificar afirmações face a documentos quando um único erro sai caro. Num teste independente publicado no GitHub, o Jev confirmou afirmações falsas em 23% dos casos, contra 13% a 14% num modelo grande.
  • Qualquer passo em que seja preciso escrever: uma resposta a um cliente, um resumo, um documento.
  • Um preço que pode mudar. O próprio Tunguz considera que o preço atual é subsidiado, e o modelo continua em acesso antecipado.

Como integrar isto num processo

Num projeto de automação, esta decisão pertence à fase de especificação. Para cada passo do processo, define-se qual é a entrada, que decisão é necessária e quanto custa um erro. Só depois se escolhe o modelo. O padrão que funciona na maioria dos casos:

  • Um passo de decisão barato e rápido à entrada, que classifica e encaminha.
  • Um modelo grande apenas no passo que precisa mesmo de escrever ou de raciocinar.
  • Um limiar de confiança. O que fica abaixo dele passa para uma pessoa ou para um modelo mais forte.
  • Um conjunto de teste com algumas centenas de exemplos reais e a resposta correta, aplicado a cada modelo antes da escolha e sempre que se faz uma mudança.

O mesmo princípio funciona com agentes de IA. Em abril de 2026, a Anthropic publicou uma abordagem em que um modelo forte aconselha e um modelo mais barato executa. Nos testes da empresa, o Sonnet com o Opus como conselheiro obteve mais 2,7 pontos do que o Sonnet sozinho e custou menos 11,9% por tarefa.

Perguntas frequentes

O que é um modelo de decisão?
Um modelo que recebe texto e devolve uma resposta definida à partida, como sim ou não, uma categoria ou uma pontuação, juntamente com o seu grau de confiança. Não escreve texto, por isso é mais rápido e mais barato, e o código não tem de interpretar a resposta.
Devemos substituir já todas as chamadas a modelos grandes?
Não. Comece por um passo com grande volume e uma resposta clara, como a classificação de pedidos, e teste-o com exemplos reais. Se a precisão for suficiente, alargue ao passo seguinte.
O que acontece quando o modelo não tem a certeza da resposta?
É para isso que serve um nível de confiança calibrado. Define-se um limiar, e o que fica abaixo dele passa para uma pessoa ou para um modelo mais forte. Assim, os erros caros não passam despercebidos.

Fontes

Quer falar sobre isto no contexto do seu sistema? Marque uma conversa gratuita de uma hora.