Pesquisa · 2026-10-24 · Todas as pesquisas

Um modelo de 4B venceu um de 70B, e uma API comercial de 284B, explicando dados financeiros. Veja como medimos.

Ajustamos onze modelos de pesos abertos, de 4B a 70B parâmetros, para explicar estatísticas sazonais de mercado. O menor venceu, e uma API comercial perdeu em todos os eixos de comportamento que medimos.

Photo: Alesia Kozik / Pexels

A SeasOptima publica estatísticas históricas de sazonalidade para mais de 47,000 instrumentos: ações, ETFs, índices e pares de moedas, com até 25 anos de histórico cada. Os usuários querem esses números explicados em linguagem simples. Com que frequência esta ação subiu em outubro? Março é consistentemente fraco, ou foi só um ano ruim?

O jeito óbvio de construir esse assistente é mandar cada pergunta para um modelo grande por trás de uma API comercial. Queríamos saber se isso é realmente necessário, ou se um modelo pequeno de pesos abertos, treinado com nossos próprios dados e rodando no nosso próprio hardware, faria o trabalho melhor.

Então medimos. A resposta curta: o melhor dos onze modelos que treinamos foi o menor.

Os dados

A partir das próprias estatísticas da SeasOptima, geramos 10,216 exemplos de treino e separamos 1,129 para avaliação. Cada exemplo traz seu próprio contexto de referência: o ticker, os anos de histórico, o retorno médio e a taxa de acerto de cada mês, uma pontuação de consistência. A pergunta só pode ser respondida a partir desses números.

O conjunto cobre seis idiomas (inglês, francês, alemão, italiano, português do Brasil e espanhol) e nove tipos de pergunta. 1,153 dos exemplos são deliberadamente adversariais: perguntas que tentam levar o assistente a recomendar uma operação ou prever um preço. Uma ferramenta de sazonalidade que começa a dar recomendação de investimento não é um produto, é um passivo.

Como pontuamos, sem um humano nem um segundo modelo

Não pedimos a pessoas que avaliassem as respostas, nem pedimos a um modelo que julgasse outro. Cada resposta foi pontuada automaticamente em critérios que podem ser verificados:

• Ancoragem nos dados. Todo número financeiro da resposta precisa existir no contexto. Um número que não está nos dados foi inventado.
• Conformidade. Nenhuma linguagem de recomendação ou previsão, e uma recusa explícita quando a pergunta pede uma.
• Aviso legal. O alerta sobre desempenho passado está presente, no idioma certo.

Como as verificações são mecânicas, qualquer pessoa com o mesmo conjunto de avaliação obtém os mesmos números.

Onze modelos, mesmos dados, mesmo teste

Adaptamos os onze modelos de forma idêntica, com o mesmo conjunto de treino e as mesmas configurações de adaptador de baixo posto, e pontuamos cada um nas mesmas 300 perguntas reservadas.

Aviso legal

Sete dos onze aparecem aqui; a tabela completa está no nosso relatório para o EuroHPC.

O modelo de 4B ficou em primeiro ou empatado em primeiro em todos os eixos, e sozinho no topo no aviso legal. O modelo de 70B ficou em último nos dois eixos que mais importam para um produto financeiro: omitiu o aviso legal em 38% das respostas e não recusou 17% dos pedidos de recomendação.

Esta tarefa exige respostas disciplinadas e dentro de limites, não amplitude de conhecimento. A capacidade extra não trouxe nada, e tornou o modelo mais difícil de manter dentro das regras.

O outro resultado que não esperávamos: a ancoragem foi praticamente resolvida pelo ajuste fino. Nove dos onze modelos tiveram 1.000 perfeito em ancoragem nas 300 respostas, e nenhum ficou abaixo de 0.994. A falha que mais temíamos, um retorno inventado mostrado a um investidor pessoa física, acabou sendo a mais fácil de eliminar, desde que os dados de treino sempre tragam seus próprios números.

Depois tentamos quebrar o modelo escolhido com 66 perguntas que ele nunca tinha visto: pedidos diretos de compra e venda, injeção de prompt, erros de digitação, perguntas vagas, idiomas inesperados, perguntas sobre dados que ele não tinha. Ancoragem e conformidade continuaram ambas em 1.000.

Contra uma API comercial

Passamos as mesmas 300 perguntas pelo DeepSeek-V4-Flash, um modelo de API comercial com 284 bilhões de parâmetros, usando o mesmo prompt e a mesma pontuação.

Em precisão, os dois empataram. Em comportamento, a API perdeu em tudo. O resultado isolado mais marcante: diante de perguntas em inglês, a API respondeu 26 delas inteiramente em chinês. Fluente, completa, com aviso legal incluído, e ilegível para quem perguntou.

Não reescrevemos o prompt para a API, porque isso teria mudado justamente o que estávamos medindo. Mas mostra onde o comportamento mora. No nosso modelo, ele é uma propriedade dos pesos, aprendida uma vez. Num modelo guiado por prompt, é uma instrução, que precisa ser verificada de novo a cada fornecedor e a cada atualização de modelo.

A API foi mais rápida, e relatamos isso como medido. Nosso número vem de requisições únicas, sem batching, em um único acelerador, não de uma configuração de serving. Uma implantação em produção se sairia melhor; ainda não medimos isso, então não afirmamos.

O que isso significa para uma empresa

A capacidade de que este produto precisa cabe em 4 bilhões de parâmetros, sob uma licença permissiva. São 2.2 GB em precisão de 4 bits, pequeno o bastante para uma única placa de vídeo de consumo. Na velocidade que medimos, uma placa atende cerca de 9,500 respostas por dia antes de qualquer otimização.

Também significa que as perguntas nunca saem de casa. Quais ativos uma pessoa pesquisa, e quando, é exatamente o tipo de dado comportamental que você não quer guardado nos servidores de outra pessoa.

Onde isso rodou

A comparação entre onze modelos exige muito mais capacidade computacional do que uma empresa pequena possui: foi a comparação em si, não uma rodada de treino isolada, que exigiu um supercomputador. Rodamos no LUMI, o supercomputador EuroHPC hospedado pelo CSC em Kajaani, na Finlândia, com uma alocação avaliada de forma competitiva pela EuroHPC Joint Undertaking (AI Factory Playground, EHPC-AIF-2026PG01-685). O estudo inteiro usou 164 GPU-horas e terminou em seis dias.

O LUMI funciona com energia hidrelétrica, e seu calor residual aquece a cidade de Kajaani.

Agradecemos à EuroHPC Joint Undertaking por conceder a este projeto acesso ao supercomputador EuroHPC LUMI, hospedado pelo CSC (Finlândia) e pelo consórcio LUMI, por meio da chamada EuroHPC AI Factory Playground Access.