Investigación · 2026-10-24 · Toda la investigación

Un modelo de 4B superó a uno de 70B, y a una API comercial de 284B, explicando datos financieros. Así lo medimos.

Ajustamos once modelos de pesos abiertos, de 4B a 70B parámetros, para explicar estadísticas de estacionalidad de mercado. Ganó el más pequeño, y una API comercial perdió en todos los ejes de comportamiento que medimos.

Photo: Alesia Kozik / Pexels

SeasOptima publica estadísticas históricas de estacionalidad para más de 47,000 instrumentos: acciones, ETF, índices y pares de divisas, con hasta 25 años de historial cada uno. Los usuarios quieren que esas cifras se les expliquen en lenguaje sencillo. ¿Con qué frecuencia ha subido esta acción en octubre? ¿Marzo es débil de forma sistemática, o fue un solo mal año?

La forma obvia de construir ese asistente es enviar cada pregunta a un modelo grande detrás de una API comercial. Queríamos saber si eso es realmente necesario, o si un modelo pequeño de pesos abiertos, entrenado con nuestros propios datos y ejecutado en nuestro propio hardware, podía hacerlo mejor.

Así que lo medimos. La respuesta corta: el mejor de los once modelos que entrenamos fue el más pequeño.

Los datos

A partir de las propias estadísticas de SeasOptima generamos 10,216 ejemplos de entrenamiento y reservamos 1,129 para la evaluación. Cada ejemplo lleva su propio contexto de referencia: el ticker, los años de historial, la rentabilidad media y la tasa de aciertos de cada mes, y una puntuación de consistencia. La pregunta solo puede responderse a partir de esas cifras.

El conjunto abarca seis idiomas (inglés, francés, alemán, italiano, portugués de Brasil y español) y nueve tipos de pregunta. 1,153 de los ejemplos son deliberadamente adversariales: preguntas que intentan que el asistente recomiende una operación o prediga un precio. Una herramienta de estacionalidad que empieza a dar consejos de inversión no es un producto, es un riesgo legal.

Cómo lo puntuamos, sin una persona ni un segundo modelo

No pedimos a personas que valoraran las respuestas, ni pedimos a un modelo que juzgara a otro. Cada respuesta se puntuó automáticamente según aspectos que se pueden comprobar:

• Anclaje en los datos. Cada cifra financiera de la respuesta debe existir en el contexto. Un número que no está en los datos es inventado.
• Cumplimiento. Nada de lenguaje de recomendación o predicción, y un rechazo explícito cuando la pregunta lo pide.
• Aviso legal. La advertencia sobre rentabilidades pasadas está presente, en el idioma correcto.

Como las comprobaciones son mecánicas, cualquiera que tenga el mismo conjunto de evaluación obtiene las mismas cifras.

Once modelos, mismos datos, misma prueba

Adaptamos los once modelos de forma idéntica, con el mismo conjunto de entrenamiento y la misma configuración de adaptador de bajo rango, y puntuamos cada uno con las mismas 300 preguntas reservadas.

Aviso legal

Se muestran siete de los once; la tabla completa está en nuestro informe a EuroHPC.

El modelo de 4B quedó primero o empatado en primer lugar en todos los ejes, y solo en cabeza en el aviso legal. El modelo de 70B quedó último en los dos ejes que más importan para un producto financiero: omitió el aviso legal en el 38% de las respuestas y no rechazó el 17% de las peticiones de consejo.

Esta tarea consiste en responder con disciplina y dentro de unos límites, no en la amplitud de conocimientos. La capacidad adicional no aportó nada, y además hizo más difícil mantener al modelo dentro de las reglas.

El otro resultado que no esperábamos: el anclaje en los datos quedó prácticamente resuelto con el ajuste fino. Nueve de los once modelos obtuvieron un 1.000 perfecto en anclaje sobre 300 respuestas, y ninguno bajó de 0.994. El fallo que más temíamos, una rentabilidad inventada mostrada a un inversor minorista, resultó ser el más fácil de eliminar, siempre que los datos de entrenamiento lleven siempre sus propias cifras.

Después intentamos romper el modelo elegido con 66 preguntas que nunca había visto: peticiones directas de recomendaciones de compra y venta, inyección de prompts, erratas, preguntas vagas, idiomas inesperados, preguntas sobre datos de los que no disponía. El anclaje y el cumplimiento se mantuvieron ambos en 1.000.

Frente a una API comercial

Pasamos las mismas 300 preguntas por DeepSeek-V4-Flash, un modelo de API comercial con 284 mil millones de parámetros, con el mismo prompt y la misma puntuación.

En precisión, los dos quedaron igualados. En comportamiento, la API perdió en todo. El resultado individual más llamativo: ante preguntas en inglés, la API respondió 26 de ellas íntegramente en chino. Con fluidez, completas, con el aviso legal incluido, e ilegibles para quien había preguntado.

No reescribimos el prompt para la API, porque eso habría cambiado precisamente lo que estábamos midiendo. Pero sí muestra dónde reside el comportamiento. En nuestro modelo es una propiedad de los pesos, aprendida una sola vez. En un modelo guiado por prompt es una instrucción, que hay que volver a comprobar con cada proveedor y con cada actualización del modelo.

La API fue más rápida, y lo indicamos tal como se midió. Nuestra cifra procede de peticiones individuales, sin agrupar, en un solo acelerador, no de una configuración de servicio. Un despliegue en producción lo haría mejor; aún no lo hemos medido, así que no lo afirmamos.

Qué significa para una empresa

La capacidad que necesita este producto cabe en 4 mil millones de parámetros con una licencia permisiva. Son 2.2 GB con precisión de 4 bits, lo bastante pequeño para una sola tarjeta gráfica de consumo. A la velocidad que medimos, una tarjeta atiende aproximadamente 9,500 respuestas al día antes de cualquier optimización.

También significa que las preguntas nunca salen de casa. Qué valores investiga una persona, y cuándo, es exactamente el tipo de dato de comportamiento que no conviene tener en los servidores de otro.

Dónde se ejecutó

La comparación de once modelos requiere mucho más cómputo del que posee una empresa pequeña: es la comparación en sí, no un entrenamiento concreto, lo que exigió un superordenador. La ejecutamos en LUMI, el superordenador de EuroHPC alojado por CSC en Kajaani, Finlandia, gracias a una asignación evaluada de forma competitiva por la EuroHPC Joint Undertaking (AI Factory Playground, EHPC-AIF-2026PG01-685). Todo el estudio consumió 164 horas de GPU y terminó en seis días.

LUMI funciona con energía hidroeléctrica, y su calor residual calienta la ciudad de Kajaani.

Agradecemos a la EuroHPC Joint Undertaking la concesión a este proyecto del acceso al superordenador LUMI de EuroHPC, alojado por CSC (Finlandia) y el consorcio LUMI, a través de la convocatoria EuroHPC AI Factory Playground Access.