Recherche · 2026-10-24 · Toutes les recherches

Un modèle de 4B a battu un modèle de 70B, et une API commerciale de 284B, pour expliquer des données financières. Voici comment nous l'avons mesuré.

Nous avons affiné onze modèles à poids ouverts, de 4B à 70B paramètres, pour expliquer des statistiques de saisonnalité des marchés. Le plus petit a gagné, et une API commerciale a perdu sur chacun des axes comportementaux que nous avons mesurés.

Photo: Alesia Kozik / Pexels

SeasOptima publie des statistiques historiques de saisonnalité pour plus de 47,000 instruments : actions, ETF, indices et paires de devises, avec jusqu'à 25 ans d'historique pour chacun. Les utilisateurs veulent que ces chiffres leur soient expliqués simplement. À quelle fréquence cette action a-t-elle monté en octobre ? Le mois de mars est-il régulièrement faible, ou s'agit-il d'une seule mauvaise année ?

La manière évidente de construire cet assistant consiste à envoyer chaque question à un grand modèle via une API commerciale. Nous voulions savoir si c'est vraiment nécessaire, ou si un petit modèle à poids ouverts, entraîné sur nos propres données et exécuté sur notre propre matériel, pouvait faire mieux.

Nous l'avons donc mesuré. La réponse courte : le meilleur des onze modèles que nous avons entraînés était le plus petit.

Les données

À partir des statistiques de SeasOptima, nous avons généré 10,216 exemples d'entraînement et en avons mis 1,129 de côté pour l'évaluation. Chaque exemple porte son propre contexte de référence : le ticker, les années d'historique, le rendement moyen et le taux de réussite de chaque mois, un score de régularité. La question ne peut trouver de réponse que dans ces chiffres.

Le jeu couvre six langues (anglais, français, allemand, italien, portugais du Brésil et espagnol) et neuf types de questions. 1,153 des exemples sont volontairement adversariaux : des questions qui cherchent à pousser l'assistant à recommander une transaction ou à prédire un cours. Un outil de saisonnalité qui se met à donner des conseils d'investissement n'est pas un produit, c'est un risque juridique.

Comment nous avons noté, sans humain ni second modèle

Nous n'avons pas demandé à des personnes de noter les réponses, ni à un modèle d'en juger un autre. Chaque réponse a été notée automatiquement sur des critères vérifiables :

• Ancrage. Chaque chiffre financier de la réponse doit figurer dans le contexte. Un nombre absent des données a été inventé.
• Conformité. Aucune formulation de conseil ou de prédiction, et un refus explicite lorsque la question en demande une.
• Avertissement. La mise en garde sur les performances passées est présente, dans la bonne langue.

Comme les vérifications sont mécaniques, toute personne disposant du même jeu d'évaluation obtient les mêmes chiffres.

Onze modèles, mêmes données, même test

Nous avons adapté les onze modèles de manière identique, avec le même jeu d'entraînement et les mêmes réglages d'adaptateur de bas rang, puis évalué chacun sur les mêmes 300 questions mises de côté.

Avertissement

Sept des onze modèles présentés ; le tableau complet figure dans notre rapport à EuroHPC.

Le modèle de 4B a terminé premier ou ex aequo sur tous les axes, et seul en tête sur l'avertissement. Le modèle de 70B a terminé dernier sur les deux axes qui comptent le plus pour un produit financier : il a omis l'avertissement dans 38% des réponses et n'a pas refusé 17% des demandes de conseil.

Cette tâche demande des réponses disciplinées et bien délimitées, pas une connaissance étendue. La capacité supplémentaire n'a rien apporté, et elle a rendu le modèle plus difficile à garder dans le cadre.

L'autre résultat que nous n'attendions pas : l'ancrage a été pratiquement résolu par l'affinage. Neuf des onze modèles ont obtenu un score parfait de 1.000 en ancrage sur 300 réponses, et aucun n'est descendu sous 0.994. L'échec que nous redoutions le plus, un rendement inventé présenté à un investisseur particulier, s'est révélé le plus facile à éliminer, à condition que les données d'entraînement portent toujours leurs propres chiffres.

Nous avons ensuite essayé de mettre en défaut le modèle retenu avec 66 questions qu'il n'avait jamais vues : demandes directes d'ordres d'achat et de vente, injection de prompt, fautes de frappe, questions vagues, langues inattendues, questions sur des données dont il ne disposait pas. L'ancrage et la conformité sont tous deux restés à 1.000.

Face à une API commerciale

Nous avons soumis les mêmes 300 questions à DeepSeek-V4-Flash, un modèle commercial accessible par API avec 284 milliards de paramètres, avec le même prompt et la même notation.

En précision, les deux sont à égalité. En comportement, l'API a perdu partout. Le résultat le plus frappant : à des questions posées en anglais, l'API a répondu 26 fois entièrement en chinois. Des réponses fluides, complètes, avertissement compris, et illisibles pour la personne qui avait posé la question.

Nous n'avons pas réécrit le prompt pour l'API, car cela aurait modifié ce que nous mesurions. Cela montre néanmoins où se situe le comportement. Dans notre modèle, c'est une propriété des poids, apprise une fois pour toutes. Dans un modèle piloté par prompt, c'est une instruction, à revérifier avec chaque fournisseur et à chaque mise à jour du modèle.

L'API était plus rapide, et nous le rapportons tel que mesuré. Notre chiffre provient de requêtes uniques, non groupées, sur un seul accélérateur, et non d'une configuration de service. Un déploiement en production ferait mieux ; nous ne l'avons pas encore mesuré, donc nous ne l'affirmons pas.

Ce que cela signifie pour une entreprise

La capacité dont ce produit a besoin tient dans 4 milliards de paramètres, sous une licence permissive. Cela représente 2.2 GB en précision 4 bits, assez petit pour une seule carte graphique grand public. À la vitesse mesurée, une carte sert environ 9,500 réponses par jour, avant toute optimisation.

Cela signifie aussi que les questions ne quittent jamais l'entreprise. Quels titres une personne étudie, et à quel moment, c'est exactement le type de données comportementales que l'on ne veut pas voir stockées sur les serveurs de quelqu'un d'autre.

Où cela a tourné

La comparaison des onze modèles demande bien plus de puissance de calcul qu'une petite entreprise n'en possède : c'est la comparaison elle-même, et non un entraînement isolé, qui a nécessité un supercalculateur. Nous l'avons menée sur LUMI, le supercalculateur EuroHPC hébergé par CSC à Kajaani, en Finlande, dans le cadre d'une allocation attribuée sur concours par l'EuroHPC Joint Undertaking (AI Factory Playground, EHPC-AIF-2026PG01-685). L'étude complète a utilisé 164 heures-GPU et s'est achevée en six jours.

LUMI fonctionne à l'énergie hydroélectrique, et sa chaleur résiduelle chauffe la ville de Kajaani.

Nous remercions l'EuroHPC Joint Undertaking d'avoir accordé à ce projet l'accès au supercalculateur EuroHPC LUMI, hébergé par CSC (Finlande) et le consortium LUMI, dans le cadre de l'appel EuroHPC AI Factory Playground Access.