Abbiamo dimezzato un modello di programmazione da 321B per farlo girare su un PC di casa. Ecco cosa si è rotto, e come l'abbiamo sistemato.
GLM-5.3-Flash ha 288 esperti in ogni layer. Ne abbiamo tenuti 152, scelti tramite ottimizzazione, e abbiamo pubblicato il risultato come open weights. Lungo la strada la nostra prima versione ha perso l'aritmetica, e i file più piccoli cadevano in un loop di ragionamento che un'unica impostazione elimina.
Leggi →
Un modello da 4B ha battuto uno da 70B, e un'API commerciale da 284B, nello spiegare dati finanziari. Ecco come l'abbiamo misurato.
Abbiamo addestrato con fine-tuning undici modelli open-weight, da 4B a 70B parametri, per spiegare statistiche di stagionalità dei mercati. Ha vinto il più piccolo, e un'API commerciale ha perso su ogni asse comportamentale che abbiamo misurato.
Leggi →
+23 punti su un modello aperto da 70B, senza nuovi dati umani. Cosa fa RLVR, e cosa non fa.
Abbiamo portato Apertus-70B dal 41.6% al 64.8% su problemi di programmazione mai visti in un solo round, lasciando che il modello imparasse soltanto dalle proprie risposte che superavano i test. Abbiamo anche trovato dove il metodo si ferma.
Leggi →
Questa ricerca ha usato potenza di calcolo da allocazioni della EuroHPC Joint Undertaking sul supercomputer LUMI.