NVIDIA și AI4Bharat de la IIT Madras au construit un corpus de aproximativ 2,8 trilioane de tokeni pentru 22 de limbi indice, însoțit de o pipeline deschisă, accelerată pe GPU, pentru traducere, evaluare a calității și reparare țintită. Nu este o lansare de produs pentru marketeri, ci o resursă de infrastructură pentru cei care antrenează modele. Relevanța directă pentru piața din România este limitată, dar semnalul strategic merită citit cu atenție (sursa).

Ce conține de fapt corpusul

Cifrele sunt concrete: 2.601,0 miliarde de tokeni în script nativ și 224,6 miliarde de tokeni romanizați, numărați cu tokenizerul Gemma-4. În total, aproximativ 2,8 trilioane. Corpusul acoperă cele 22 de limbi enumerate în Constituția Indiei, adică limbile materne pentru 97% dintre indieni, conform recensământului din 2011.

Structura pe limbi e împărțită în două grupuri. Pentru douăsprezece limbi (bengali, gujarati, hindi, kannada, malayalam, marathi, nepali, odia, punjabi, tamil, telugu, urdu) există atât date în script nativ, cât și date romanizate. Pentru celelalte zece (assamese, bodo, dogri, kashmiri, konkani, maithili, manipuri, sanscrită, santali, sindhi) există doar script nativ. Romanizat înseamnă text indic scris cu alfabet latin, nu o traducere în engleză.

Un detaliu pe care mulți îl ratează: „script nativ" descrie sistemul de scriere, nu limba sursă. Textul este tot tradus din engleză. Iar pentru cele douăsprezece limbi cu dublu script, romanizarea acoperă doar un subset al traducerilor native acceptate. Asta contează când construiești un mix de antrenare, pentru că aceleași conținuturi apar în două formate cu expunere diferită.

Numărătorile descriu corpusul reținut, inclusiv rescrierile acceptate, nu bugetul de tokeni al unei sesiuni de antrenare. Sunt lucruri diferite și e util să le ții separate.

Cum a fost generat: pipeline-ul în patru etape

Punctul de plecare sunt documente din 15 subseturi Nemotron-CC-v2, acoperind text web, material de tip întrebare-răspuns, matematică, cod și alte conținuturi specializate. Generarea folosește NeMo Data Designer, framework-ul open-source al NVIDIA pentru date sintetice.

Fluxul pentru cele douăsprezece limbi are patru etape: traducere la nivel de document, evaluare a calității, reparare a rezultatelor cu scor mic, conversie a unui subset în script latin. Pentru traducere s-a ales Gemma-4-31B-it, selectat prin comparații pe documente complete, urmărind calitatea traducerii și păstrarea conținutului tehnic.

Evaluarea folosește o rubrică inspirată de Multidimensional Quality Metrics (MQM), un cadru deschis de clasificare a erorilor de traducere după tip și severitate. Rubrica acoperă sens, fluență, terminologie, stil și formatare. Se rețin doar rezultatele cu cel puțin 75 din 100. E un scor de rubrică, nu un procent de acuratețe, iar confuzia dintre cele două e o greșeală frecventă.

Rezultatele sub prag primesc o etapă de reparare ghidată de feedback-ul evaluării, apoi sunt reevaluate. Procesul a recuperat 438,4 miliarde de tokeni, deja incluși în total. Recenziile umane pe eșantioane și testele cu erori introduse deliberat au ajutat la identificarea omisiunilor și a englezei reziduale.

Pentru romanizare, traducerile native acceptate sunt convertite în script latin și verificate față de originalul nativ. Separarea traducerii de conversia de script a produs, în comparația umană inițială, mai puține adăugiri halucinate și mai puțină engleză reziduală decât generarea romanizată direct din engleză.

Pentru celelalte zece limbi, fluxul a fost adaptat. Traducerea folosește Indic Translate, un model de traducere la nivel de document de la Bodhan AI, centru nonprofit incubat la IIT Madras. Gemma-4-31B-it evaluează apoi fiecare traducere față de sursa engleză. Pentru opt limbi se păstrează abordarea pe document întreg. Pentru documentele santali mai lungi se traduce în ferestre suprapuse, iar pentru manipuri se traduce în script bengali și apoi se convertește în Meitei Mayek. Aceste fluxuri produc doar date în script nativ, fără rescriere pe bază de feedback.

Ce arată rezultatele de antrenare și ce nu arată

Raportul tehnic Nemotron 3.5 Super VL compară checkpoint-ul imediat dinaintea antrenării continue pe date indice cu cel de după. Bugetul configurat a fost de 100 de miliarde de tokeni, din care 10% (10 miliarde) alocați unui mix de text indic sintetic și natural. Restul de 90% a păstrat proporțiile relative ale mixului anterior.

Scorurile au crescut pe toate cele cinci benchmark-uri raportate: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy și Indic GSM8K. Câștigurile sunt între 4,98 și 9,82 puncte procentuale. GSM8K exclude odia, pentru că evaluarea a depășit limita de context a serviciului.

Aici e nuanța pe care multe reluări o pierd: comparația raportează schimbarea pe o etapă de antrenare care combină date indice sintetice și naturale, nu izolează contribuția corpusului sintetic. Sunt checkpoint-uri la nivel de etapă, nu comparații între versiuni finale de model. Acoperirea lingvistică diferă de la benchmark la benchmark.

Pe lângă rezultatele etapei CPT, există și o comparație între Nemotron 3.5 Super VL și generația anterioară, Nemotron 3 Super. Modelul nou scorază mai sus pe cinci din șase benchmark-uri de sarcini, acoperind cunoaștere, raționament, matematică, cod și traducere. La instruction following pe IFEval 1.5 scade 2,04 puncte. Îmbunătățiri apar pe toate cele patru dimensiuni IndiVibe: utilitate, fluență, fidelitate de limbă și script, verbositate adecvată. IndiVibe este benchmark-ul deschis al Sarvam AI pentru prompturi de tip asistent în limbile indice.

Raportul companion examinează mixurile de surse, dimensiunea pool-ului de date sintetice și acoperirea de script folosind datele acceptate la prima trecere pentru grupul de douăsprezece limbi. Evaluarea corpusului complet, inclusiv rescrierile recuperate și celelalte zece limbi, rămâne un pas următor.

Ce poți face concret cu resursa, dacă ești pe partea tehnică

Materialul oferă instrucțiuni explicite de utilizare. Se începe cu limbile și scripturile de care ai nevoie, se inspectează un eșantion și se citesc dataset card-ul și licența înainte de antrenare. Configurațiile folosesc tag-uri de limbă, script și regiune: hi-Deva-IN pentru hindi în devanagari, hi-Latn-IN pentru hindi romanizat.

Hugging Face Datasets suportă streaming, deci poți inspecta înregistrări fără să descarci tot corpusul. Odată ce lansarea e disponibilă, fixează o revizie de dataset pentru experimente reproductibile. Pentru un prim studiu, compară mixuri la buget fix de tokeni și înregistrează proporțiile natural/sintetic și nativ/romanizat.

Un detaliu operațional important: când construiești split-uri de validare, ține cont de înregistrările derivate din aceeași sursă în limbi și scripturi diferite. Altfel ajungi cu scurgeri de date între train și test, iar rezultatele devin optimiste fără să fie reale.

Pipeline-ul e disponibil ca plugin open-source, Nemotron Bharat, pentru NeMo Data Designer, cu prompturi de traducere și evaluare, rescriere opțională pe bază de feedback, fereastrare de document și suport de remapare de script. Recomandarea din material e să începi cu un eșantion mic din propriile documente, să verifici calitatea traducerii și păstrarea codului, matematicii și formatării, apoi să rafinezi prompturile cu revizori vorbitori nativi înainte de scalare.

Cel mai util principiu acolo: tratează generarea și acceptarea în corpus ca pași separați. Plugin-ul returnează candidați și scoruri, politica ta de filtrare decide ce intră în corpusul de antrenare.

Ce înseamnă pentru tine, ca antreprenor sau marketer român

Sincer: pe termen scurt, direct, aproape nimic. Nu ai un model indic de antrenat și nu vinzi în hindi sau tamil. Deci de ce contează pentru tine?

Pentru că e un studiu de caz despre cum se construiește infrastructura de date pentru o piață pe care modelele mari o deservesc prost. India are 1,2 miliarde de vorbitori de limbi subreprezentate în datele de antrenare. Problema declarată de Mitesh Khapra, care conduce AI4Bharat, e simplă: tehnologia limbilor indice rămâne în urmă față de engleză pentru că nu există suficiente date. Același tipar se aplică și limbii române, la o scară diferită.

Ce poți extrage practic:

Primul lucru e distincția dintre date sintetice și date naturale. Corpusul e explicit complementar față de textul indic scris natural, care rămâne esențial pentru cunoștințe locale și context cultural. Traducerea lărgește acoperirea, dar nu înlocuiește materialul autentic. Dacă lucrezi cu conținut generat AI pentru piața românească, același principiu se aplică.

Al doilea e modelul de verificare. Fiecare înregistrare e trasată înapoi la un document sursă, iar fiecare rezultat e verificat față de intrare. Prag de 75 din 100, reparare, reevaluare. E un flux pe care îl poți replica la scară mică pentru orice conținut generat pe care îl publici sub brand.

Al treilea e așteptarea realistă despre rezultate. Câștigurile raportate vin dintr-o etapă care combină date sintetice și naturale, pe un model specific, pe benchmark-uri specifice. Nu sunt cifre transferabile direct în CPA-ul tău sau în ROAS-ul unei campanii.

Dacă îți construiești asistenți AI care răspund în română, întrebarea relevantă nu e „când apare un Nemotron românesc", ci „cum îmi construiesc un strat de verificare a calității pentru propriul conținut". Modelul de pipeline din material e mai valoros decât cifrele.

FAQ

Este acest corpus disponibil pentru antrenare comercială? Materialul indică citirea dataset card-ului și a licenței înainte de antrenare. Nu putem afirma termenii de licențiere fără să verificăm documentul propriu-zis, iar o verificare incompletă nu dovedește nici permisiune, nici restricție. Verifică direct sursa.

Rezultatele de pe benchmark-uri se traduc în îmbunătățiri reale în producție? Nu automat. Câștigurile raportate sunt pe etape de antrenare și pe benchmark-uri specifice, cu acoperire lingvistică variabilă. Sunt semnale, nu garanții de performanță în aplicații reale.

Pot folosi pipeline-ul pentru limba română? Plugin-ul e construit pentru limbile indice, cu prompturi și modele specifice. Arhitectura e reutilizabilă conceptual, dar adaptarea la română ar necesita propriile prompturi, propriul set de evaluare și revizori vorbitori nativi. E o ipoteză de lucru, nu un rezultat dovedit.

Concluzia ALLSoft Agency

AI-ul ajută enorm la analiză, la structurarea pipeline-urilor de date și la scalarea proceselor repetitive. Ce nu face AI-ul e să decidă ce merită scalat, ce prag de calitate e acceptabil pentru brandul tău și unde se termină automatizarea și începe judecata umană. Deciziile și execuția rămân ale omului, iar pentru campanii plătite asta înseamnă media buyer cu ochii pe cont, nu doar pe dashboard-uri automate.

Dacă vrei să construim împreună un sistem de măsurare și verificare care separă clar ce e măsurat de ce e presupus, ALLSoft Agency e locul de început. Fără hype, cu cifre pe masă.