Google anunță că va susține semnalul comun AIPREF din robots.txt, cu tokenul user-agent: __usage_ai-training, implementarea fiind planificată pentru începutul lui 2027. Practic, un singur punct de control exprimă preferințele de antrenare AI către mai mulți furnizori, fără liste separate pentru fiecare dezvoltator. Este un angajament voluntar, nu o regulă tehnică deja activă.

Ce s-a anunțat, concret, și ce rămâne doar intenție

Pe 30 octombrie 2026, Google a comunicat public, printr-un articol semnat de Barry Schwartz pe Search Engine Roundtable (sursa), că intenționează să adopte voluntar o propunere aflată în lucru la IETF, în grupul AIPREF. Mecanismul: un token de politică partajat în robots.txt, astfel încât un site să își exprime preferințele de antrenare AI într-un singur pas, valabil pentru mai mulți furnizori, în loc să repete instrucțiuni pentru fiecare dezvoltator în parte. Google spune că implementarea vine în 2027 și că lucrează alături de alți furnizori de AI, iar Bing, OpenAI și Anthropic au anunțat intenții similare.

Un detaliu tehnic important: potrivit lui John Mueller, dacă un site folosește tokenul pentru a refuza antrenarea și nu menționează explicit Google-Extended, Google plănuiește să interpreteze asta ca pe un refuz al Google-Extended. Controalele existente, specifice fiecărei companii, rămân funcționale în paralel, deci un site poate combina o alegere largă cu instrucțiuni fine pentru un anumit dezvoltator.

Aici se termină zona factuală și începe analiza. Tot ce urmează sunt lecturi, întrebări și scenarii, nu fapte confirmate de sursă.

De ce un token comun schimbă ecuația operațională

Până acum, un site care voia să își exprime preferințele față de mai mulți furnizori de AI trebuia să urmărească lista de user-agents ai fiecăruia, să o actualizeze când apare un jucător nou și să spere că interpretarea e similară. Pentru un site mic, asta e muncă de întreținere recurentă. Pentru un site mare, e un proces care trebuie documentat, versionat și verificat periodic.

Tokenul comun mută problema din zona "urmărește fiecare furnizor" în zona "exprimă o poziție și rafinează unde ai nevoie". Câștigul real nu e tehnic, e de guvernanță: o decizie luată o dată, aplicată coerente, cu posibilitatea de a face excepții punctuale.

Există însă o limită pe care sursa o semnalează indirect, prin vocile participanților la IETF. Nate Hake, participant activ la grupul de lucru, a scris public că propunerea nu e finalizată la nivel IETF și că rămân dispute semnificative, inclusiv una legată de excluderea preferințelor din zona a ceea ce fac utilizatorii. Traducerea practică: mecanismul e un draft, nu un standard închis. Cine îl tratează ca pe o lege deja dată își construiește procese pe nisip.

Ce verifici înainte să modifici robots.txt

Primul pas nu e să editezi fișierul, ci să înțelegi ce ai acolo acum. Un audit de robots.txt ar trebui să răspundă la câteva întrebări simple:

Al doilea pas e să separi decizia de implementare. Decizia e de business: vrei să apari în rezultate AI cu citare și trafic, sau preferi să fii exclus din antrenare? Nu e o alegere binară și nu e aceeași pentru toate paginile. Un blog de brand și un catalog de produse pot avea interese diferite.

Al treilea pas e să documentezi. Când tokenul devine funcțional, vei avea nevoie de o urmă: ce ai schimbat, când, cu ce justificare, ce efect ai observat. Fără asta, orice discuție internă se bazează pe memorie.

Atenție la o capcană frecventă în auditurile automate: absența unui semnal într-un audit nu dovedește că semnalul nu funcționează sau că furnizorul nu îl respectă. O verificare incompletă rămâne incompletă. Dacă vrei să tragi concluzii despre cum e tratat site-ul tău, ai nevoie de probe repetate, nu de un singur screenshot.

Ce înseamnă pentru tine, antreprenor sau marketer în România

Dacă ai un magazin online sau un site de conținut care aduce trafic organic, discuția despre antrenarea AI nu e abstractă. Ea atinge direct două lucruri pe care le urmărești: vizibilitatea în rezultatele AI și controlul asupra conținutului tău.

Scenariu ipotetic, nu rezultat măsurat: un magazin cu 3.000 de pagini de produs și un blog cu 400 de articole. Astăzi, politica de acces pentru crawlerele AI e probabil o linie moartă în robots.txt, copiată acum doi ani. Dacă tokenul comun devine funcțional în 2027, acea linie moartă devine o decizie activă, cu consecințe pe care nu le-ai evaluat. Un refuz larg poate reduce prezența în răspunsurile AI; o permisiune largă poate expune conținut pe care poate nu vrei să îl vezi reprodus.

Recomandarea mea practică: nu lua decizia pe criterii emoționale. Separă conținutul în straturi. Paginile comerciale, cele care trebuie să genereze clic și conversie, merită o politică prin care să rămâi citabil. Conținutul editorial original, unde valoarea stă în unicitate, merită o discuție separată. Iar conținutul care nu aduce nici trafic, nici valoare de brand nu merită energie.

Al doilea lucru de făcut este să legi decizia de măsurare. Dacă permiți citarea, trebuie să poți observa dacă apare trafic din surse AI și ce calitate are. Aici intră în joc subiecte pe care le-am tratat separat, de la golul de măsurare în AI Search până la modul în care formularea din primele fraze influențează citarea, discutat în materialul despre BLUF pentru SEO și AI Search.

Al treilea lucru: nu confunda semnalul cu garanția. Un token în robots.txt exprimă o preferință. Respectarea ei depinde de fiecare furnizor, de versiunea crawlerului și de moment. Cine promite că "ai rezolvat" cu o linie în fișier vinde iluzii.

Întrebările pe care merită să le pui echipei

Când subiectul ajunge pe masă, nu accepta răspunsuri de tipul "am pus tokenul, suntem acoperiți". Pune întrebări care forțează claritate:

  1. Care e politica noastră de antrenare, formulată în două propoziții, nu în două pagini?
  2. Ce pierdem dacă refuzăm și ce riscăm dacă acceptăm, concret, pe fiecare tip de conținut?
  3. Cine verifică dacă preferința noastră e respectată și cu ce instrumente?
  4. Cum raportăm asta conducerii fără să inventăm cifre?

Întrebarea a patra e cea care separă echipele serioase de cele care aleargă după fiecare anunț. Nu ai nevoie de o prezentare cu procente inventate. Ai nevoie de o poziție clară și de un mecanism de revizuire.

Merită menționat și contextul de reglementare. Sursa indică faptul că propunerea e consistentă cu Codul de practică pentru furnizorii de modele AI de uz general din cadrul AI Act, care recunoaște robots.txt ca metodă principală prin care editorii își exprimă preferințele într-un format citibil de mașini. Asta nu transformă proiectul într-o obligație legală pentru site-uri. Înseamnă doar că direcția e susținută politic, ceea ce crește probabilitatea ca mecanismul să rămână, nu să dispară.

FAQ

Tokenul __usage_ai-training funcționează deja? Nu. Google a anunțat intenția de a-l susține la începutul lui 2027. Orice test făcut acum măsoară cel mult un comportament temporar, nu un standard activ.

Trebuie să elimin Google-Extended din robots.txt? Nu automat. Controalele specifice rămân funcționale alături de semnalul comun, iar interpretarea viitoare depinde de ce e specificat explicit. Decizia se ia după ce înțelegi ce ai acum în fișier.

Un refuz larg mă scoate din rezultatele AI? Nu e o echivalență garantată. Sursa arată că există legătură între a permite Google-Extended și eligibilitatea de a apărea cu citare în Gemini Apps, dar nu putem extrapola efecte pe care nimeni nu le-a măsurat public. Tratează ca ipoteză, nu ca fapt.

AI-ul ajută la analiză, dar decizia și execuția rămân umane

Un model AI îți poate citi robots.txt, îți poate grupa paginile pe tipuri de conținut și îți poate schița variante de politică. Îți poate economisi ore bune de muncă repetitivă. Ce nu poate face este să decidă în locul tău ce tip de vizibilitate vrei și cât riști.

Decizia de business rămâne a ta, iar execuția cere un om care înțelege contextul: un media buyer sau un specialist SEO care știe ce pagini aduc bani, ce pagini aduc autoritate și ce pagini există doar pentru că așa a ieșit la un moment dat. AI-ul propune, omul validează, iar pasul concret îl face ALLSoft Agency: audit de robots.txt, separare pe straturi de conținut, măsurare și revizuire după ce semnalul devine real. Fără promisiuni de rezultate, fără cifre inventate, doar verificare și execuție.