Un benchmark nou de la AI2 arată că modelele recurente și hibride generalizează mult mai departe decât transformerele pe urmărirea stării, iar Gemini, Claude și GPT pierd precizie pe sarcinile grele pe măsură ce inputul crește. Pentru operatori, concluzia practică e simplă: nu presupune că un context lung înseamnă și memorie corectă.

Ce măsoară de fapt StateBench

StateBench este un set de teste publicat de AI2 pe 3 noiembrie 2026, care evaluează cât de bine țin modelele de limbaj evidența informațiilor despre entități pe măsură ce acestea se schimbă într-un document lung. Sursa este anunțul oficial AI2, disponibil pe blogul Hugging Face, împreună cu raportul tehnic, datele și codul.

Problema pare abstractă, dar e banală în practică. Dacă un text spune că John i-a dat cuțitul lui Mary chiar înainte de o crimă, modelul trebuie să știe că starea personajelor s-a schimbat. Dacă un cod are variabile reasignate de mai multe ori, modelul trebuie să știe care e valoarea finală. Iar varianta grea e cu totul alt animal: John îi dă lui Mary obiectul din rucsacul lui, iar anterior Edward pusese un cuțit în rucsacul lui John. Un singur pas ratat și răspunsul final e greșit.

Asta e diferența dintre „găsește ultima valoare” și „urmărește un lanț de modificări”. Prima e o căutare, a doua e memorie de lucru reală.

Cele patru niveluri de dificultate, pe înțelesul operatorului

AI2 împarte problema în patru niveluri, pornind de la tipurile de atribuire permise. Le poți citi ca pe o scală de complexitate a oricărui proces pe care îl pui pe AI să îl urmărească.

Nivelul 1, R-trivial: valoarea nu se schimbă niciodată. În cod arată ca o constantă, în viață ca o dată de naștere. Modelul trebuie doar să recupereze ce s-a setat prima dată.

Nivelul 2, aperiodic: se permite reasignarea pe valoare. Modelul caută cea mai recentă valoare și poate ignora restul. E ca un termostat, ultima setare dă temperatura.

Nivelul 3, solubil: apar actualizări autoreferențiale, adică fiecare modificare pornește de la valoarea curentă. În cod e incrementare, în viață e scorul unui joc care crește cu fiecare punct. Modelul trebuie să care modificările înainte.

Nivelul 4, general finit: se permite atribuirea prin referință. O variabilă ia valoarea alteia, ceea ce creează dependențe în lanț. Exemplul din sursă e al iluzionistului cu cinci pahare, care tot schimbă locurile între ele: ca să găsești bila, trebuie să urmărești cum fiecare schimbare mută obiectul.

Ca să compare corect, cercetătorii pornesc de la o singură secvență de atribuiri și derivă trei versiuni mai simple, astfel încât toate cele patru probleme să aibă același număr de variabile, aceleași valori distincte și atribuiri în aceleași poziții. Se schimbă doar tipul de atribuire. E o decizie metodologică importantă: elimină explicația „modelul a picat pentru că textul era mai lung sau mai aglomerat”.

Ce arată rezultatele pe modelele preantrenate

AI2 a testat modele deschise cu date de antrenament și ferestre de context documentate: Olmo 3, un transformer de 7 miliarde de parametri, Olmo Hybrid, care adaugă straturi Gated DeltaNet, plus modele mai mici de 275 de milioane și 2,7 miliarde. Toate au fost preantrenate pe aceleași date și niciunul nu văzuse contexte mai lungi de 64.000 de tokeni la antrenare, deși o parte au fost testate cu inputuri mult peste acest prag.

Rezultatul se poate rezuma scurte: aproape toate modelele stau bine la nivelul R-trivial, pierd precizie la aperiodic pe măsură ce inputul crește și rămân la nivelul hazardului la general finit.

Un detaliu merită atenție pentru cine construiește prompturi de business: formatul contează. Modelele hibride de 275 de milioane și cele Gated DeltaNet au fost aproape perfecte pe probleme R-trivial în stil RULER, dar aproape de hazard pe aceleași probleme formulate ca editări de tabel. Aceeași logică, alt ambalaj, alt rezultat. De aici și decizia de a testa fiecare problemă în mai multe formate.

Modelele de frontieră nu sunt imune

Pe cele patru modele de frontieră testate de AI2, Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol și GPT-6 Luna, rezultatele sunt bune la R-trivial și aperiodic. La nivelul solubil și la general finit, precizia scade abrupt pe măsură ce inputul se lungeste, ajungând la 13% sau mai puțin pe cele mai lungi probleme de tip general finit.

Sursele indică un factor probabil: sensibilitatea. La nivelurile grele, mult mai mulți pași pot influența răspunsul final, deci spațiul de eroare se micșorează. Altfel spus, cu cât lanțul de dependențe e mai lung, cu atât o singură actualizare ratată compromite tot rezultatul.

Aici e detaliul pe care multi oameni de marketing îl ratează când citesc știri despre ferestre de context de milioane de tokeni. Contextul mare e o condiție de infrastructură, nu o garanție de acuratețe. Un model poate primi documentul întreg și tot poate pierde o schimbare de stare de la mijloc.

Antrenamentul direct schimbă concluzia pe arhitecturi

A doua parte a studiului e cea mai interesantă pentru cine ia decizii tehnice. AI2 a antrenat de la zero mai multe modele de 275 de milioane de parametri pe StateBench: două variante de transformer, două hibride și două variante Gated DeltaNet cu constrângeri diferite de actualizare a memoriei. Antrenamentul s-a făcut pe secvențe de până la 256 de atribuiri, iar testarea pe secvențe de până la 64.000 de atribuiri, de 250 de ori lungimea maximă din antrenare.

Aici arhitecturile se despart clar. Gated DeltaNet și modelele hibride au generalizat aproape perfect pe R-trivial, aperiodic și solubil până la cele mai lungi secvențe testate. Transformerii au învățat nivelurile ușoare, dar au degradat pe secvențe lungi și nu au învățat niciodată problema general finit. Varianta Gated DeltaNet cu actualizare mai flexibilă a memoriei a mers cel mai departe, aproape perfect până la circa 10 ori lungimea maximă văzută la antrenare.

Concluzia pe care cercetătorii o scot explicit: pentru modelele recurente și hibride, diferența pare să vină din antrenament, nu din arhitectură. Antrenate direct, au învățat niveluri pe care omologii preantrenați nu le stăpâneau. Transformerii au rămas diferiți, pentru că nici măcar antrenamentul direct nu i-a făcut să învețe nivelul cel mai greu.

Asta nu înseamnă că transformerii sunt inutili. Înseamnă că există limite teoretice documentate pe lanțuri lungi de dependențe, iar arhitecturile recurente și hibride există tocmai pentru a le adresa.

Ce rămâne deschis și ce nu trebuie presupus

Anunțul AI2 listează și limite, iar ele contează dacă vrei să traduci rezultatele în decizii de buget.

O demonstrație nouă arată că Gated DeltaNet cu actualizare de memorie mai restrictivă poate rezolva toate sarcinile aperiodice și anumite sarcini periodice, în condițiile de aritmetică cu precizie fixă și rotunjire din lucrare. Poziționarea exactă în ierarhie rămâne deschisă, inclusiv dacă poate rezolva toate sarcinile solubile și cum o afectează precizia numerică sau combinarea cu straturi de atenție.

StateBench presupune, de asemenea, un număr fix de variabile. În viața reală apar entități noi pe parcurs: într-o conversație lungă apar oameni și obiecte noi, iar modelul trebuie să înceapă să le urmărească. Cadrul actual nu acoperă încă această situație.

Ce nu spune sursa și nu trebuie dedus: nu există aici prețuri, disponibilitate comercială sau clasamente de tip „cel mai bun model din piață”. Nu există nici rezultate pe conturi de reclame sau pe sarcini de marketing. Orice astfel de afirmație ar fi inventată.

Ce înseamnă pentru tine, antreprenor sau marketer în România

Dacă rulezi un business mic sau mijlociu și folosești AI ca să citească documente lungi, contracte, oferte sau istorice de clienți, StateBench îți dă un cadru concret de verificare. Nu pentru că benchmarkul e despre cod și nu despre marketing, ci pentru că structura problemei e identică.

Gândește-te la un dosar de client cu zeci de emailuri, unde prețul a fost renegociat de trei ori, termenul de livrare s-a mutat de două ori și persoana de contact s-a schimbat. Un model care găsește ultima mențiune a prețului rezolvă nivelul aperiodic. Unul care trebuie să reconstruiască valoarea finală după ce fiecare modificare a pornit de la valoarea anterioară are o problemă de nivel solubil. Iar dacă în joc intră referințe încrucișate, de tipul „aplicăm condițiile din anexa B”, ești la nivelul general finit.

Trei implicații practice, care sunt recomandările mele, nu constatări din sursă:

Primul pas: nu cere modelului un răspuns final la un lanț lung fără pași intermediari. Cere explicit lista de modificări, în ordine, apoi valoarea finală. Forțezi modelul să externalizeze lanțul, ceea ce reduce spațiul de eroare.

Al doilea pas: testează același document în două formate. Sursele arată că formatul schimbă dramatic rezultatul, chiar și la modele mici. Dacă rezultatul se schimbă când reformulezi cererea ca tabel în loc de paragraf, ai un semnal de fragilitate, nu o dovadă de competență.

Al treilea pas: pune un punct de control uman exact acolo unde un singur pas ratat costă. La nivelurile grele, precizia scade abrupt cu lungimea, deci documentele scurte sunt mai sigure decât dosarele de 80 de pagini.

Dacă lucrezi cu conținut și vrei să înțelegi cum se măsoară prezența unui brand în răspunsurile modelelor, nu doar acuratețea lor pe documente, subiectul se leagă direct de Gemini visibility tracking 2026: cum măsori mențiunile de brand. Iar dacă întrebarea ta reală e „am încredere în ce extrage AI-ul din site-ul meu înainte să dau bani pe reclame”, metoda din Erori de site înainte de reclame: cum folosești AI ca filtru e complementară: ambele pleacă de la aceeași disciplină, verifici ce iese, nu ce promite unealta.

FAQ

Ce este StateBench, pe scurt? Un benchmark publicat de AI2 pe 3 noiembrie 2026 care testează cât de bine urmăresc modelele de limbaj schimbările de stare ale entităților în documente lungi, pe patru niveluri de dificultate. Include raport tehnic, date și cod.

Modelele de frontieră sunt slabe la contexte lungi? Nu la toate sarcinile. Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol și GPT-6 Luna stau bine pe nivelurile ușoare, dar pe cele grele precizia scade pe măsură ce inputul crește, până la 13% sau mai puțin pe cele mai lungi probleme general finite.

Ce înseamnă asta pentru un marketer care folosește AI pe documente? Că fereastra de context mare nu garantează acuratețe. Cere lanțul de modificări pas cu pas, testează în două formate și pune verificare umană acolo unde o singură eroare strică tot rezultatul.

Arc obligatoriu: AI-ul ajută, omul decide, ALLSoft execută

StateBench nu e o veste care schimbă bugetele de mâine. E un semnal de maturitate: piața începe să măsoare ce poate și ce nu poate un model, nu doar cât de mare e fereastra de context din anunț.

AI-ul ajută real la analiză și planning. Poate parcurge documente, poate propune structuri, poate extrage liste de modificări. Dar decizia și execuția rămân umane. Un media buyer senior nu acceptă un raport de performanță fără să verifice de unde vin cifrele, la fel cum un operator serios nu acceptă o extragere din 60 de pagini fără să știe ce pași a sărit modelul.

Pasul concret îl face ALLSoft Agency: pornim de la întrebarea ta de business, măsurăm ce se poate măsura, separăm ipotezele de constatări și îți spunem clar unde AI-ul accelerează și unde trebuie să intervină omul. Fără hype, fără promisiuni despre cifre pe care nu le-am măsurat.