Nous avons coupé en deux un modèle de code de 321B pour le faire tourner sur un PC domestique. Voici ce qui a cassé, et comment nous l'avons réparé.
GLM-5.3-Flash compte 288 experts dans chaque couche. Nous en avons gardé 152, choisis par optimisation, et publié le résultat en poids ouverts. En chemin, notre première version a cassé l'arithmétique, et les fichiers plus petits tombaient dans une boucle de raisonnement qu'un seul réglage supprime.
Lire →
Un modèle de 4B a battu un modèle de 70B, et une API commerciale de 284B, pour expliquer des données financières. Voici comment nous l'avons mesuré.
Nous avons affiné onze modèles à poids ouverts, de 4B à 70B paramètres, pour expliquer des statistiques de saisonnalité des marchés. Le plus petit a gagné, et une API commerciale a perdu sur chacun des axes comportementaux que nous avons mesurés.
Lire →
+23 points sur un modèle ouvert de 70B, sans nouvelles données humaines. Ce que fait RLVR, et ce qu'il ne fait pas.
Nous avons fait passer Apertus-70B de 41.6% à 64.8% sur des problèmes de code mis de côté en un seul cycle, en laissant le modèle apprendre uniquement de ses propres réponses qui passaient les tests. Nous avons aussi trouvé où la méthode s'arrête.
Lire →
Cette recherche a utilisé de la puissance de calcul issue d'allocations de l'EuroHPC Joint Undertaking sur le supercalculateur LUMI.