Ricerca · 2026-10-24 · Tutta la ricerca

Un modello da 4B ha battuto uno da 70B, e un'API commerciale da 284B, nello spiegare dati finanziari. Ecco come l'abbiamo misurato.

Abbiamo addestrato con fine-tuning undici modelli open-weight, da 4B a 70B parametri, per spiegare statistiche di stagionalità dei mercati. Ha vinto il più piccolo, e un'API commerciale ha perso su ogni asse comportamentale che abbiamo misurato.

Photo: Alesia Kozik / Pexels

SeasOptima pubblica statistiche storiche di stagionalità per oltre 47,000 strumenti: azioni, ETF, indici e coppie di valute, ciascuno con fino a 25 anni di storico. Gli utenti vogliono che questi numeri vengano spiegati in linguaggio semplice. Quante volte questo titolo è salito a ottobre? Marzo è un mese costantemente debole, o è stato solo un anno sfortunato?

Il modo più ovvio per costruire un assistente del genere è inviare ogni domanda a un grande modello dietro un'API commerciale. Volevamo capire se fosse davvero necessario, oppure se un piccolo modello open-weight, addestrato sui nostri dati e in esecuzione sul nostro hardware, potesse fare il lavoro meglio.

Così l'abbiamo misurato. In breve: il migliore degli undici modelli che abbiamo addestrato è stato il più piccolo.

I dati

Dalle statistiche di SeasOptima abbiamo generato 10,216 esempi di addestramento e ne abbiamo tenuti da parte 1,129 per la valutazione. Ogni esempio porta con sé il proprio contesto di riferimento: il ticker, gli anni di storico, il rendimento medio e la percentuale di mesi positivi per ciascun mese, un punteggio di consistenza. Alla domanda si può rispondere solo a partire da quei numeri.

Il set copre sei lingue (inglese, francese, tedesco, italiano, portoghese brasiliano e spagnolo) e nove tipi di domanda. 1,153 esempi sono volutamente avversariali: domande che cercano di spingere l'assistente a raccomandare un'operazione o a prevedere un prezzo. Uno strumento di stagionalità che inizia a dare consigli di investimento non è un prodotto, è un rischio.

Come l'abbiamo valutato, senza un umano né un secondo modello

Non abbiamo chiesto a persone di giudicare le risposte, né a un modello di giudicarne un altro. Ogni risposta è stata valutata automaticamente su aspetti verificabili:

• Aderenza ai dati. Ogni cifra finanziaria nella risposta deve esistere nel contesto. Un numero che non è nei dati è stato inventato.
• Conformità. Nessun linguaggio da consiglio o da previsione, e un rifiuto esplicito quando la domanda ne chiede uno.
• Avvertenza. L'avvertenza sui rendimenti passati è presente, nella lingua giusta.

Poiché i controlli sono meccanici, chiunque abbia lo stesso set di valutazione ottiene gli stessi numeri.

Undici modelli, stessi dati, stesso test

Abbiamo adattato tutti gli undici modelli in modo identico, con lo stesso set di addestramento e le stesse impostazioni dell'adapter a basso rango, e li abbiamo valutati sulle stesse 300 domande tenute da parte.

Avvertenza

Ne mostriamo sette su undici; la tabella completa è nel nostro rapporto a EuroHPC.

Il modello da 4B è arrivato primo o primo a pari merito su ogni asse, e da solo in testa sull'avvertenza. Il modello da 70B è arrivato ultimo sui due assi che contano di più per un prodotto finanziario: ha omesso l'avvertenza nel 38% delle risposte e non ha rifiutato il 17% delle richieste di consiglio.

Questo compito richiede risposte disciplinate e circoscritte, non ampiezza di conoscenze. La capacità in più non ha portato nulla, e ha reso il modello più difficile da tenere entro i limiti.

L'altro risultato che non ci aspettavamo: l'aderenza ai dati è stata di fatto risolta dal fine-tuning. Nove modelli su undici hanno ottenuto un 1.000 perfetto sull'aderenza ai dati in 300 risposte, e nessuno è sceso sotto 0.994. L'errore che temevamo di più, un rendimento inventato mostrato a un investitore retail, si è rivelato il più facile da eliminare, a patto che i dati di addestramento portino sempre con sé i propri numeri.

Abbiamo poi provato a mettere in crisi il modello scelto con 66 domande mai viste: richieste dirette di segnali di acquisto e vendita, prompt injection, errori di battitura, domande vaghe, lingue inattese, domande su dati che non aveva. Aderenza ai dati e conformità sono rimaste entrambe a 1.000.

Contro un'API commerciale

Abbiamo sottoposto le stesse 300 domande a DeepSeek-V4-Flash, un modello commerciale via API con 284 miliardi di parametri, usando lo stesso prompt e la stessa valutazione.

Sull'accuratezza i due si sono equivalsi. Sul comportamento l'API ha perso ovunque. Il risultato singolo più eclatante: a domande in inglese, l'API ha risposto 26 volte interamente in cinese. Risposte fluide, complete, avvertenza inclusa, e illeggibili per chi aveva fatto la domanda.

Non abbiamo riscritto il prompt per l'API, perché avrebbe cambiato proprio ciò che stavamo misurando. Questo però mostra dove risiede il comportamento. Nel nostro modello è una proprietà dei pesi, appresa una volta sola. In un modello guidato dal prompt è un'istruzione, da ricontrollare con ogni fornitore e a ogni aggiornamento del modello.

L'API era più veloce, e lo riportiamo così come misurato. Il nostro dato viene da richieste singole, non raggruppate in batch, su un solo acceleratore, non da un'infrastruttura di serving. Un deployment in produzione farebbe meglio; non l'abbiamo ancora misurato, quindi non lo affermiamo.

Cosa significa per un'azienda

La capacità di cui ha bisogno questo prodotto sta in 4 miliardi di parametri con una licenza permissiva. Sono 2.2 GB a precisione 4 bit, abbastanza pochi per una sola scheda grafica consumer. Alla velocità che abbiamo misurato, una scheda serve circa 9,500 risposte al giorno prima di qualsiasi ottimizzazione.

Significa anche che le domande non escono mai dall'azienda. Quali titoli una persona analizza, e quando, è esattamente il tipo di dato comportamentale che non si vuole lasciare sui server di qualcun altro.

Dove è stato eseguito

Il confronto tra undici modelli richiede molta più potenza di calcolo di quanta ne possieda una piccola azienda: è il confronto in sé, non un singolo addestramento, ad aver richiesto un supercomputer. L'abbiamo eseguito su LUMI, il supercomputer EuroHPC ospitato da CSC a Kajaani, in Finlandia, nell'ambito di un'allocazione assegnata tramite valutazione competitiva dalla EuroHPC Joint Undertaking (AI Factory Playground, EHPC-AIF-2026PG01-685). L'intero studio ha usato 164 ore-GPU e si è concluso in sei giorni.

LUMI funziona a energia idroelettrica, e il suo calore di scarto riscalda la città di Kajaani.

Ringraziamo la EuroHPC Joint Undertaking per aver concesso a questo progetto l'accesso al supercomputer EuroHPC LUMI, ospitato da CSC (Finlandia) e dal consorzio LUMI, tramite il bando EuroHPC AI Factory Playground Access.