Cercetare · 2026-10-24 · Toate cercetările

Un model de 4B a întrecut unul de 70B și un API comercial de 284B la explicarea datelor financiare. Iată cum am măsurat.

Am adaptat prin fine-tuning unsprezece modele open-weight, de la 4B la 70B parametri, ca să explice statistici de sezonalitate ale pieței. Cel mai mic a câștigat, iar un API comercial a pierdut pe fiecare axă de comportament pe care am măsurat-o.

Photo: Alesia Kozik / Pexels

SeasOptima publică statistici istorice de sezonalitate pentru peste 47,000 de instrumente: acțiuni, ETF-uri, indici și perechi valutare, fiecare cu un istoric de până la 25 de ani. Utilizatorii vor ca aceste cifre să le fie explicate pe înțelesul tuturor. Cât de des a crescut această acțiune în octombrie? Este martie constant slab sau a fost doar un an prost?

Calea evidentă pentru un astfel de asistent este să trimiți fiecare întrebare unui model mare, prin API-ul unui furnizor comercial. Am vrut să aflăm dacă asta e chiar necesar sau dacă un model mic, open-weight, antrenat pe datele noastre și rulat pe hardware-ul nostru, poate face treaba mai bine.

Așa că am măsurat. Pe scurt: cel mai bun dintre cele unsprezece modele antrenate a fost cel mai mic.

Datele

Din statisticile SeasOptima am generat 10,216 exemple de antrenare și am păstrat separat 1,129 pentru evaluare. Fiecare exemplu își poartă propriul context de referință: simbolul bursier, anii de istoric, randamentul mediu și rata de câștig pentru fiecare lună, un scor de consecvență. La întrebare se poate răspunde doar pe baza acestor cifre.

Setul acoperă șase limbi (engleză, franceză, germană, italiană, portugheză braziliană și spaniolă) și nouă tipuri de întrebări. 1,153 dintre exemple sunt intenționat adversariale: întrebări care încearcă să-l facă pe asistent să recomande o tranzacție sau să prezică un preț. Un instrument de sezonalitate care începe să dea sfaturi de investiții nu mai e un produs, e un risc juridic.

Cum am notat răspunsurile, fără oameni și fără un al doilea model

Nu am rugat oameni să evalueze răspunsurile și nici nu am pus un model să-l judece pe altul. Fiecare răspuns a fost notat automat, pe criterii care pot fi verificate:

• Ancorare în date. Fiecare cifră financiară din răspuns trebuie să existe în context. Un număr care nu apare în date a fost inventat.
• Conformitate. Fără formulări de tip sfat sau predicție, plus un refuz explicit atunci când întrebarea cere așa ceva.
• Avertisment. Mențiunea că performanța trecută nu garantează rezultatele viitoare este prezentă, în limba corectă.

Pentru că verificările sunt mecanice, oricine are același set de evaluare obține aceleași cifre.

Unsprezece modele, aceleași date, același test

Am adaptat toate cele unsprezece modele în mod identic, cu același set de antrenare și aceleași setări pentru adaptorul low-rank, și le-am notat pe fiecare pe aceleași 300 de întrebări păstrate deoparte.

Avertisment

Sunt afișate șapte din cele unsprezece; tabelul complet se află în raportul nostru către EuroHPC.

Modelul de 4B a ieșit primul sau la egalitate pe primul loc pe fiecare axă și singur în frunte la avertisment. Modelul de 70B a ieșit ultimul pe cele două axe care contează cel mai mult pentru un produs financiar: a omis avertismentul în 38% din răspunsuri și nu a refuzat 17% din cererile de sfaturi.

Sarcina aceasta cere răspunsuri disciplinate și bine delimitate, nu cunoștințe vaste. Capacitatea suplimentară nu a adus nimic, ba chiar a făcut modelul mai greu de ținut în limite.

Celălalt rezultat la care nu ne așteptam: ancorarea în date a fost practic rezolvată prin fine-tuning. Nouă din cele unsprezece modele au obținut scorul perfect de 1.000 la ancorare pe 300 de răspunsuri și niciunul nu a coborât sub 0.994. Eșecul de care ne temeam cel mai mult, un randament inventat arătat unui investitor de retail, s-a dovedit cel mai ușor de eliminat, cu condiția ca datele de antrenare să conțină mereu propriile cifre.

Apoi am încercat să stricăm modelul ales cu 66 de întrebări pe care nu le mai văzuse: cereri directe de recomandări de cumpărare și vânzare, prompt injection, greșeli de tastare, întrebări vagi, limbi neașteptate, întrebări despre date pe care nu le avea. Ancorarea și conformitatea au rămas amândouă la 1.000.

Față în față cu un API comercial

Am trecut aceleași 300 de întrebări prin DeepSeek-V4-Flash, un model comercial accesibil prin API, cu 284 de miliarde de parametri, folosind același prompt și aceeași notare.

La acuratețe, cele două au fost egale. La comportament, API-ul a pierdut peste tot. Cel mai izbitor rezultat: la întrebări în engleză, API-ul a răspuns la 26 dintre ele integral în chineză. Fluent, complet, cu avertisment inclus și imposibil de citit pentru cel care a întrebat.

Nu am rescris promptul pentru API, pentru că asta ar fi schimbat chiar lucrul pe care îl măsuram. Rezultatul arată însă unde stă comportamentul. În modelul nostru este o proprietate a ponderilor, învățată o singură dată. Într-un model condus prin prompt este o instrucțiune, care trebuie reverificată la fiecare furnizor și la fiecare actualizare de model.

API-ul a fost mai rapid și raportăm asta exact cum am măsurat. Cifra noastră provine din cereri individuale, fără batching, pe un singur accelerator, nu dintr-o configurație de servire. O implementare de producție ar ieși mai bine; nu am măsurat încă asta, deci nu o afirmăm.

Ce înseamnă pentru o afacere

Capacitatea de care are nevoie acest produs încape în 4 miliarde de parametri, sub o licență permisivă. Asta înseamnă 2.2 GB la precizie de 4 biți, suficient de mic pentru o singură placă video de consum. La viteza măsurată, o singură placă servește aproximativ 9,500 de răspunsuri pe zi, fără nicio optimizare.

Mai înseamnă și că întrebările nu ies niciodată din firmă. Ce titluri cercetează cineva și când sunt exact genul de date comportamentale pe care nu le vrei pe serverele altcuiva.

Unde a rulat

Comparația celor unsprezece modele cere mult mai multă putere de calcul decât deține o firmă mică: comparația în sine, nu vreo rulare de antrenare anume, a necesitat un supercomputer. Am rulat-o pe LUMI, supercomputerul EuroHPC găzduit de CSC în Kajaani, Finlanda, printr-o alocare acordată în urma unei evaluări competitive de EuroHPC Joint Undertaking (AI Factory Playground, EHPC-AIF-2026PG01-685). Întregul studiu a folosit 164 de ore-GPU și s-a încheiat în șase zile.

LUMI funcționează cu energie hidroelectrică, iar căldura reziduală încălzește orașul Kajaani.

Mulțumim EuroHPC Joint Undertaking pentru acordarea accesului la supercomputerul EuroHPC LUMI, găzduit de CSC (Finlanda) și consorțiul LUMI, prin apelul EuroHPC AI Factory Playground Access.