Forschung · 2026-10-24 · Alle Beiträge

Ein 4B-Modell hat ein 70B-Modell und eine kommerzielle 284B-API beim Erklären von Finanzdaten geschlagen. So haben wir es gemessen.

Wir haben elf Open-Weight-Modelle mit 4B bis 70B Parametern darauf feinabgestimmt, saisonale Marktstatistiken zu erklären. Das kleinste gewann, und eine kommerzielle API verlor auf jeder Verhaltensachse, die wir gemessen haben.

Photo: Alesia Kozik / Pexels

SeasOptima veröffentlicht historische Saisonalitätsstatistiken für mehr als 47,000 Instrumente: Aktien, ETFs, Indizes und Währungspaare, jeweils mit bis zu 25 Jahren Historie. Die Nutzer möchten diese Zahlen in verständlicher Sprache erklärt bekommen. Wie oft ist diese Aktie im Oktober gestiegen? Ist der März durchgehend schwach, oder war es nur ein einziges schlechtes Jahr?

Der naheliegende Weg zu einem solchen Assistenten wäre, jede Frage an ein großes Modell hinter einer kommerziellen API zu schicken. Wir wollten wissen, ob das wirklich nötig ist, oder ob ein kleines Open-Weight-Modell, trainiert auf unseren eigenen Daten und betrieben auf unserer eigenen Hardware, die Aufgabe besser erledigen kann.

Also haben wir es gemessen. Die Kurzfassung: Das beste der elf Modelle, die wir trainiert haben, war das kleinste.

Die Daten

Aus den eigenen Statistiken von SeasOptima haben wir 10,216 Trainingsbeispiele erzeugt und 1,129 für die Evaluierung zurückgehalten. Jedes Beispiel bringt seinen eigenen Faktenkontext mit: den Ticker, die Jahre an Historie, die durchschnittliche Rendite und die Trefferquote für jeden Monat, einen Konsistenzwert. Die Frage lässt sich nur anhand dieser Zahlen beantworten.

Der Datensatz umfasst sechs Sprachen (Englisch, Französisch, Deutsch, Italienisch, brasilianisches Portugiesisch und Spanisch) und neun Fragetypen. 1,153 der Beispiele sind bewusst adversarial: Fragen, die den Assistenten dazu bringen sollen, einen Trade zu empfehlen oder einen Kurs vorherzusagen. Ein Saisonalitäts-Tool, das plötzlich Anlageberatung gibt, ist kein Produkt, sondern ein Haftungsrisiko.

Wie wir bewertet haben, ohne Menschen und ohne zweites Modell

Wir haben weder Menschen die Antworten bewerten lassen noch ein Modell über ein anderes urteilen lassen. Jede Antwort wurde automatisch anhand überprüfbarer Kriterien bewertet:

• Grounding. Jede Finanzzahl in der Antwort muss im Kontext vorkommen. Eine Zahl, die nicht in den Daten steht, wurde erfunden.
• Compliance. Keine Formulierungen, die nach Beratung oder Prognose klingen, und eine ausdrückliche Ablehnung, wenn die Frage genau das verlangt.
• Disclaimer. Der Hinweis auf die vergangene Wertentwicklung ist vorhanden, und zwar in der richtigen Sprache.

Da die Prüfungen mechanisch sind, erhält jeder mit demselben Evaluierungsdatensatz dieselben Zahlen.

Elf Modelle, dieselben Daten, derselbe Test

Wir haben alle elf Modelle identisch angepasst, mit demselben Trainingsdatensatz und denselben Low-Rank-Adapter-Einstellungen, und jedes anhand derselben 300 zurückgehaltenen Fragen bewertet.

Disclaimer

Sieben der elf Modelle sind dargestellt; die vollständige Tabelle steht in unserem Bericht an EuroHPC.

Das 4B-Modell lag auf jeder Achse auf dem ersten Platz oder gleichauf mit dem ersten, und beim Disclaimer allein an der Spitze. Das 70B-Modell landete auf den beiden Achsen, die für ein Finanzprodukt am wichtigsten sind, auf dem letzten Platz: Es ließ den Disclaimer in 38% der Antworten weg und lehnte 17% der Beratungsanfragen nicht ab.

Bei dieser Aufgabe geht es um disziplinierte, klar begrenzte Antworten, nicht um Wissensbreite. Die zusätzliche Kapazität brachte nichts und machte es nur schwerer, das Modell innerhalb der Grenzen zu halten.

Ein weiteres Ergebnis hatten wir nicht erwartet: Grounding wurde durch das Fine-Tuning praktisch gelöst. Neun der elf Modelle erreichten über 300 Antworten hinweg ein perfektes 1.000 beim Grounding, und keines fiel unter 0.994. Der Fehler, den wir am meisten fürchteten, nämlich eine erfundene Rendite vor den Augen eines Privatanlegers, erwies sich als der am leichtesten zu beseitigende, solange die Trainingsdaten stets ihre eigenen Zahlen mitbringen.

Anschließend haben wir versucht, das ausgewählte Modell mit 66 Fragen zu Fall zu bringen, die es nie gesehen hatte: direkte Kauf- und Verkaufsanfragen, Prompt Injection, Tippfehler, vage Fragen, unerwartete Sprachen, Fragen zu Daten, die ihm nicht vorlagen. Grounding und Compliance blieben beide bei 1.000.

Im Vergleich mit einer kommerziellen API

Wir haben dieselben 300 Fragen durch DeepSeek-V4-Flash geschickt, ein kommerzielles API-Modell mit 284 Milliarden Parametern, mit demselben Prompt und derselben Bewertung.

Bei der Genauigkeit lagen beide gleichauf. Beim Verhalten verlor die API überall. Das auffälligste Einzelergebnis: Auf englische Fragen antwortete die API 26-mal vollständig auf Chinesisch. Flüssig, vollständig, mit Disclaimer, und für die fragende Person unlesbar.

Wir haben den Prompt für die API nicht umgeschrieben, denn damit hätten wir genau das verändert, was wir messen wollten. Es zeigt aber, wo das Verhalten verankert ist. In unserem Modell ist es eine Eigenschaft der Gewichte, einmal gelernt. In einem per Prompt gesteuerten Modell ist es eine Anweisung, die bei jedem Anbieter und jedem Modell-Update erneut geprüft werden muss.

Die API war schneller, und das berichten wir so, wie wir es gemessen haben. Unser Wert stammt aus einzelnen, nicht gebündelten Anfragen auf einem einzigen Beschleuniger, nicht aus einem Serving-Setup. Ein Produktivbetrieb würde besser abschneiden; das haben wir noch nicht gemessen, also behaupten wir es auch nicht.

Was das für ein Unternehmen bedeutet

Die Fähigkeit, die dieses Produkt braucht, passt in 4 Milliarden Parameter unter einer permissiven Lizenz. Das sind 2.2 GB bei 4-Bit-Präzision, klein genug für eine einzige Consumer-Grafikkarte. Bei der gemessenen Geschwindigkeit bedient eine Karte ohne jede Optimierung rund 9,500 Antworten pro Tag.

Es bedeutet auch, dass die Fragen das Haus nie verlassen. Welche Wertpapiere eine Person recherchiert und wann, sind genau die Verhaltensdaten, die man nicht auf den Servern eines anderen liegen haben möchte.

Wo das lief

Der Vergleich von elf Modellen erfordert weit mehr Rechenleistung, als ein kleines Unternehmen besitzt: Es ist der Vergleich selbst, nicht ein einzelner Trainingslauf, der einen Supercomputer nötig machte. Wir haben ihn auf LUMI durchgeführt, dem EuroHPC-Supercomputer, den CSC in Kajaani, Finnland, betreibt, im Rahmen einer im Wettbewerb vergebenen Zuteilung des EuroHPC Joint Undertaking (AI Factory Playground, EHPC-AIF-2026PG01-685). Die gesamte Studie verbrauchte 164 GPU-Stunden und war in sechs Tagen abgeschlossen.

LUMI läuft mit Wasserkraft, und seine Abwärme heizt die Stadt Kajaani.

Wir danken dem EuroHPC Joint Undertaking dafür, diesem Projekt über die Ausschreibung EuroHPC AI Factory Playground Access Zugang zum EuroHPC-Supercomputer LUMI gewährt zu haben, der von CSC (Finnland) und dem LUMI-Konsortium betrieben wird.