Pesquisa

O que medimos

Experimentos para tornar modelos abertos menores, mais especializados e mais confiáveis. Cada número vem de um teste que qualquer pessoa pode repetir.

Cortamos pela metade um modelo de programação de 321B para rodá-lo num PC doméstico. Veja o que quebrou, e como consertamos.
O GLM-5.3-Flash tem 288 especialistas em cada camada. Mantivemos 152, escolhidos por otimização, e publicamos o resultado com pesos abertos. No caminho, nossa primeira versão quebrou a aritmética, e os arquivos menores caíram num loop de raciocínio que uma única configuração elimina.
Ler →
Um modelo de 4B venceu um de 70B, e uma API comercial de 284B, explicando dados financeiros. Veja como medimos.
Ajustamos onze modelos de pesos abertos, de 4B a 70B parâmetros, para explicar estatísticas sazonais de mercado. O menor venceu, e uma API comercial perdeu em todos os eixos de comportamento que medimos.
Ler →
+23 pontos em um modelo aberto de 70B, sem novos dados humanos. O que o RLVR faz, e o que não faz.
Elevamos o Apertus-70B de 41.6% para 64.8% em problemas de programação reservados em uma única rodada, deixando o modelo aprender só com as próprias respostas que passaram nos testes. Também descobrimos onde o método para.
Ler →

Esta pesquisa usou capacidade computacional de alocações da EuroHPC Joint Undertaking no supercomputador LUMI.

Usamos cookies para o site funcionar. Política de Cookies