Investigación · 2026-10-24 · Toda la investigación

+23 puntos en un modelo abierto de 70B, sin nuevos datos humanos. Lo que RLVR hace, y lo que no.

Subimos Apertus-70B del 41.6% al 64.8% en problemas de programación reservados en una sola ronda, dejando que el modelo aprendiera solo de sus propias respuestas que pasaban las pruebas. También encontramos dónde se detiene el método.

Photo: Nemuel Sereti / Pexels

Apertus-70B es el modelo totalmente abierto de la Swiss AI Initiative: los pesos, los datos de entrenamiento y la receta son públicos. Sus autores lo alinearon con preferencias humanas. Nunca se había entrenado con aprendizaje por refuerzo a partir de recompensas verificables, la técnica detrás de la mayor parte del progreso reciente en programación y matemáticas.

Eso lo convertía en una prueba limpia. Si aplicamos el método a un modelo que nunca lo ha visto, ¿cuánto se mueve, y qué es exactamente lo que se mueve?

En una sola ronda, en problemas de programación reservados, pasó del 41.6% al 64.8%. Este artículo trata de cómo, y de los tres puntos en los que el método dejó de funcionar, porque son tan útiles como el titular.

Primero, lo que no funcionó: enseñar con ejemplos

La forma intuitiva de mejorar el razonamiento de un modelo es mostrarle buen razonamiento. Tomamos soluciones resueltas de alta calidad de modelos más fuertes y ajustamos Apertus con ellas.

Empeoró, y empeoró cuanto más lo entrenábamos. En un conjunto de problemas recientes de programación competitiva, el modelo base resolvía el 24%. Tras 8,000 ejemplos resolvía el 14%. Tras 37,000, el 10%.

Revisamos los datos, y estaban limpios. El problema era lo que el modelo aprendía de ellos. Aprendió a sonar como el modelo más fuerte: explicaciones seguras y bien estructuradas, seguidas de código que no funcionaba. La imitación enseña estilo. No enseña la capacidad que hay debajo.

Lo que funcionó: aprender solo de tus propias respuestas que aprueban

La alternativa invierte el origen de los datos de entrenamiento. En lugar de aprender de las soluciones de otro, el modelo:

1. genera varios intentos para cada problema,
2. cada intento se comprueba automáticamente, ejecutando las pruebas o comparando la respuesta final,
3. se conservan solo los intentos que aprobaron,
4. se entrena con ellos.

Nada entra en el conjunto de entrenamiento si no se ha verificado como correcto, y todo lo que contiene procede del propio modelo. Esa es toda la idea de RLVR: la recompensa no es la opinión de un juez, es una prueba que no admite discusión.

En matemáticas de nivel escolar (GSM8K), la primera ronda llevó a Apertus del 65.2% al 74.6%, una ganancia de 9.4 puntos. La misma mecánica que en el experimento de imitación. La única diferencia era de dónde venían los datos.

La cifra que nos indicó hacia dónde seguir

Antes de invertir en programación, nos hicimos una pregunta de diagnóstico sencilla: ¿el modelo es incapaz de escribir este código, o simplemente poco fiable al hacerlo?

Las dos cosas parecen idénticas si solo dejas responder al modelo una vez. Parecen muy distintas si le dejas intentarlo 24 veces. En un benchmark de programación estándar, Apertus resolvía el 38.2% al primer intento, pero el 62.4% de los problemas al menos una vez en 24 intentos.

Esa diferencia de 24 puntos es la clave. La capacidad ya estaba ahí; el modelo simplemente no la producía de forma consistente. Eso significaba que no necesitábamos un costoso preentrenamiento adicional. Necesitábamos convertir "a veces" en "de forma fiable".

El resultado: +23.2 puntos en una ronda

Construimos un conjunto de 8,445 problemas de Python verificados, cada uno con sus propias pruebas, y eliminamos todo lo que se solapaba con nuestros conjuntos de evaluación. Apertus generó intentos, cada intento se ejecutó contra sus pruebas, y 11,727 soluciones correctas se convirtieron en el conjunto de entrenamiento.

En problemas que nunca había visto, de la misma distribución:

Es la mayor ganancia de todo el proyecto, a partir de una sola ronda, sin nuevos datos escritos por personas.

Dónde se detiene

Tres hallazgos definen los límites del método. Creemos que importan más que el titular a quien piense usarlo.

La ganancia pertenece al tipo de problema con el que entrenas. El mismo modelo mejorado, evaluado en un benchmark de programación escrito con otro estilo, no mejoró en absoluto: 38.2% antes, 37.8% después. El modelo se volvió mucho mejor en los problemas que practicó, no en programación en general. La regla práctica es simple y estricta: entrena con la distribución con la que te van a evaluar, y para una empresa eso significa con tus propias tareas.

Funciona una vez, no repetidamente. Una segunda ronda con el conjunto de programación no aportó nada: del 64.8% al 64.0%. En matemáticas, la segunda ronda añadió solo 1.4 puntos. El método convierte en rendimiento la distancia entre "a veces" y "de forma fiable", y hace la mayor parte en la primera pasada. El tamaño de la ganancia es aproximadamente el tamaño de la distancia de la que partes. Ir más allá de ese punto requiere problemas más difíciles o una técnica distinta, no más de lo mismo.

Entrenar más con los mismos intentos lo empeora. Cuando reutilizamos un mismo lote de intentos generados durante varias pasadas de entrenamiento, el rendimiento cayó de forma constante, del 76.0% al 74.8%. Después de la primera pasada, el modelo ya no es el que produjo esos intentos, así que aprende de datos obsoletos. La solución es regenerar intentos nuevos en cada ronda en lugar de reutilizar los antiguos.

Qué significa para una empresa

El método es general. Cualquier modelo abierto, cualquier tarea en la que una respuesta pueda comprobarse automáticamente: código que debe pasar pruebas, cifras que deben coincidir con una fuente, un documento que debe cumplir un conjunto de reglas. La mayoría de las empresas tienen más de estas tareas de lo que creen.

También fija expectativas honestas. RLVR no convertirá un modelo en algo que no pudiera hacer ya en un buen día. Lo que hace es que el buen día sea el día normal, exactamente en el trabajo que te importa. Para la mayoría de los usos empresariales, esa es la diferencia entre una demo y una herramienta.

Dónde se ejecutó

Entrenar así un modelo de 70 mil millones de parámetros implica generar y comprobar cientos de miles de intentos. Lo ejecutamos en LUMI, el superordenador de EuroHPC alojado por CSC en Kajaani, Finlandia, con aceleradores AMD MI250X, gracias a una asignación evaluada de forma competitiva por la EuroHPC Joint Undertaking (AI Factory Playground, EHPC-AIF-2026PG01-685).

Agradecemos a la EuroHPC Joint Undertaking la concesión a este proyecto del acceso al superordenador LUMI de EuroHPC, alojado por CSC (Finlandia) y el consorcio LUMI, a través de la convocatoria EuroHPC AI Factory Playground Access.