Forschung · 2026-10-24 · Alle Beiträge

+23 Punkte für ein offenes 70B-Modell, ohne neue menschliche Daten. Was RLVR leistet und was nicht.

Wir haben Apertus-70B auf zurückgehaltenen Programmieraufgaben in einer einzigen Runde von 41.6% auf 64.8% gebracht, indem das Modell nur aus seinen eigenen Antworten lernte, die die Tests bestanden. Wir haben auch herausgefunden, wo die Methode an ihre Grenzen stößt.

Photo: Nemuel Sereti / Pexels

Apertus-70B ist das vollständig offene Modell der Swiss AI Initiative: Gewichte, Trainingsdaten und Rezept sind alle öffentlich. Seine Autoren haben es auf menschliche Präferenzen ausgerichtet. Mit Reinforcement Learning from Verifiable Rewards, der Technik hinter einem Großteil der jüngsten Fortschritte bei Programmierung und Mathematik, war es nie trainiert worden.

Das machte es zu einem sauberen Test. Wenn wir die Methode auf ein Modell anwenden, das sie nie gesehen hat: Wie viel bewegt sich, und was genau bewegt sich?

In einer Runde stieg es auf zurückgehaltenen Programmieraufgaben von 41.6% auf 64.8%. In diesem Beitrag geht es darum, wie das gelang, und um die drei Stellen, an denen die Methode nicht mehr funktionierte, denn die sind genauso nützlich wie die Schlagzeile.

Zuerst, was nicht funktionierte: Lernen durch Beispiele

Der intuitive Weg, ein Modell besser im logischen Denken zu machen, ist, ihm gutes Denken zu zeigen. Wir haben hochwertige, ausgearbeitete Lösungen stärkerer Modelle genommen und Apertus damit feinabgestimmt.

Es wurde schlechter, und zwar umso schlechter, je mehr wir trainierten. Auf einem Satz aktueller Aufgaben aus dem Wettbewerbsprogrammieren löste das Basismodell 24%. Nach 8,000 Beispielen löste es 14%. Nach 37,000 waren es 10%.

Wir haben die Daten geprüft, und die Daten waren sauber. Das Problem war, was das Modell daraus lernte. Es lernte, wie das stärkere Modell zu klingen: selbstsichere, gut strukturierte Erklärungen, gefolgt von Code, der nicht funktionierte. Nachahmung vermittelt Stil. Die zugrunde liegende Fähigkeit vermittelt sie nicht.

Was funktionierte: nur aus den eigenen Antworten lernen, die bestehen

Die Alternative dreht die Quelle der Trainingsdaten um. Statt aus fremden Lösungen zu lernen, geht das Modell so vor:

1. es erzeugt mehrere Versuche für jede Aufgabe,
2. jeder Versuch wird automatisch geprüft, indem die Tests ausgeführt oder die Endergebnisse verglichen werden,
3. nur die bestandenen Versuche werden behalten,
4. auf diesen wird es trainiert.

Nichts gelangt in den Trainingsdatensatz, was nicht als korrekt verifiziert wurde, und alles darin stammt vom Modell selbst. Das ist die ganze Idee hinter RLVR: Die Belohnung ist nicht die Meinung eines Bewerters, sondern ein Test, über den sich nicht streiten lässt.

Bei Mathematik auf Grundschulniveau (GSM8K) brachte die erste Runde Apertus von 65.2% auf 74.6%, ein Zuwachs von 9.4 Punkten. Dieselbe Mechanik wie beim Nachahmungsexperiment. Der einzige Unterschied war, woher die Daten kamen.

Die Zahl, die uns die Richtung zeigte

Bevor wir in das Programmieren investierten, stellten wir eine einfache diagnostische Frage: Ist das Modell nicht in der Lage, diesen Code zu schreiben, oder ist es dabei nur unzuverlässig?

Die beiden Fälle sehen identisch aus, wenn man das Modell nur einmal antworten lässt. Sie sehen ganz anders aus, wenn man es 24-mal versuchen lässt. Auf einem Standard-Benchmark für Programmierung löste Apertus beim ersten Versuch 38.2%, aber 62.4% der Aufgaben mindestens einmal in 24 Versuchen.

Diese Lücke von 24 Punkten ist der Schlüssel. Die Fähigkeit war bereits vorhanden; das Modell brachte sie nur nicht zuverlässig hervor. Das hieß, wir brauchten kein teures zusätzliches Pre-Training. Wir mussten aus "manchmal" ein "zuverlässig" machen.

Das Ergebnis: +23.2 Punkte in einer Runde

Wir haben einen Pool aus 8,445 verifizierten Python-Aufgaben aufgebaut, jede mit eigenen Tests, und alles entfernt, was sich mit unseren Evaluierungsdatensätzen überschnitt. Apertus erzeugte Versuche, jeder Versuch wurde gegen seine Tests ausgeführt, und 11,727 korrekte Lösungen bildeten den Trainingsdatensatz.

Auf Aufgaben, die es nie gesehen hatte, aus derselben Verteilung:

Das ist der größte Zuwachs des gesamten Projekts, aus einer einzigen Runde, ohne neue von Menschen geschriebene Daten.

Wo es aufhört

Drei Befunde definieren die Grenzen der Methode. Für alle, die sie einsetzen wollen, sind sie unserer Meinung nach wichtiger als die Schlagzeile.

Der Zuwachs gehört zu der Art von Aufgaben, auf denen Sie trainieren. Dasselbe verbesserte Modell verbesserte sich auf einem Programmier-Benchmark in einem anderen Stil überhaupt nicht: 38.2% vorher, 37.8% nachher. Das Modell wurde bei den geübten Aufgaben deutlich besser, nicht beim Programmieren im Allgemeinen. Die praktische Regel ist einfach und streng: Trainieren Sie auf der Verteilung, auf der Sie bewertet werden, und für ein Unternehmen heißt das: auf Ihren eigenen Aufgaben.

Es funktioniert einmal, nicht wiederholt. Eine zweite Runde auf dem Programmier-Pool brachte nichts: 64.8% zu 64.0%. Bei Mathematik fügte die zweite Runde nur 1.4 Punkte hinzu. Die Methode wandelt die Lücke zwischen "manchmal" und "zuverlässig" in Leistung um, und das meiste davon geschieht im ersten Durchgang. Die Größe des Zuwachses entspricht ungefähr der Größe der Lücke, mit der man startet. Wer darüber hinaus will, braucht schwierigere Aufgaben oder eine andere Technik, nicht mehr vom Gleichen.

Mehr Training auf denselben Versuchen macht es schlechter. Als wir einen Stapel erzeugter Versuche für mehrere Trainingsdurchgänge wiederverwendeten, sank die Leistung stetig, von 76.0% auf 74.8%. Nach dem ersten Durchgang ist das Modell nicht mehr dasjenige, das diese Versuche erzeugt hat, also lernt es aus veralteten Daten. Die Lösung: in jeder Runde frische Versuche erzeugen, statt alte wiederzuverwenden.

Was das für ein Unternehmen bedeutet

Die Methode ist allgemein. Jedes offene Modell, jede Aufgabe, bei der sich eine Antwort automatisch prüfen lässt: Code, der Tests bestehen muss, Zahlen, die mit einer Quelle übereinstimmen müssen, ein Dokument, das einem Regelwerk genügen muss. Die meisten Unternehmen haben mehr solcher Aufgaben, als sie denken.

Sie setzt auch ehrliche Erwartungen. RLVR macht aus einem Modell nichts, was es nicht schon an einem guten Tag konnte. Was es leistet: Es macht den guten Tag zum Normalfall, und zwar genau bei der Arbeit, die Ihnen wichtig ist. Für die meisten geschäftlichen Anwendungen ist das der Unterschied zwischen einer Demo und einem Werkzeug.

Wo das lief

Ein Modell mit 70 Milliarden Parametern auf diese Weise zu trainieren bedeutet, Hunderttausende von Versuchen zu erzeugen und zu prüfen. Wir haben das auf LUMI durchgeführt, dem EuroHPC-Supercomputer, den CSC in Kajaani, Finnland, betreibt, auf AMD-MI250X-Beschleunigern, im Rahmen einer im Wettbewerb vergebenen Zuteilung des EuroHPC Joint Undertaking (AI Factory Playground, EHPC-AIF-2026PG01-685).

Wir danken dem EuroHPC Joint Undertaking dafür, diesem Projekt über die Ausschreibung EuroHPC AI Factory Playground Access Zugang zum EuroHPC-Supercomputer LUMI gewährt zu haben, der von CSC (Finnland) und dem LUMI-Konsortium betrieben wird.