Cloudflare a introdus un sistem de clasificare a crawlerilor AI în trei categorii: Search, Agent și Training. Setările implicite activate în septembrie 2026 pot bloca accidental Googlebot dacă ai activat restricții pentru crawlerii de tip Training. Dacă nu înțelegi diferența, îți poți sabota indexarea fără să știi.

Ce s-a schimbat la Cloudflare și de ce contează pentru site-ul tău

Cloudflare gestionează traficul pentru o parte semnificativă din web. Când Cloudflare schimbă modul în care tratează crawlerii, efectul se propagă rapid la milioane de site-uri, inclusiv cele ale antreprenorilor și agențiilor din România.

Noutatea concretă: platforma le permite acum tuturor utilizatorilor să controleze crawlerii AI prin intermediul unui panou dedicat. Clasificarea funcționează pe trei tipuri distincte:

Search cuprinde roboții care indexează conținut pentru motoarele de căutare. Googlebot intră în această categorie, dar și alți crawleri similari.

Agent cuprinde roboții care execută sarcini autonome, de exemplu asistenți AI care navighează pe web în numele unui utilizator.

Training cuprinde roboții care colectează date pentru antrenarea modelelor de limbaj mari (LLM-uri), cum ar fi GPT, Claude sau Gemini.

Problema apare la setările implicite activate în septembrie 2026. Dacă un utilizator Cloudflare a ales să blocheze crawlerii de tip Training, iar configurația nu este suficient de granulară, există scenarii în care Googlebot ajunge blocat colateral. Nu dintr-o intenție deliberată, ci dintr-o suprapunere de reguli aplicată în grabă.

Sursa originală a stierii, Search Engine Journal, a documentat acest risc în detaliu.

De ce se suprapun categoriile și unde apare confuzia

Logica din spatele clasificării pare simplă la prima vedere. Problema este că unii crawleri ai Google nu se încadrează exclusiv în categoria Search. Google folosește date de pe web și pentru sistemele sale AI, inclusiv pentru Gemini și pentru funcționalitățile generative din Search. Asta înseamnă că anumite user-agent-uri ale Google pot fi percepute de sistemul Cloudflare ca aparținând mai multor categorii simultan.

Dacă regulile de blocare sunt setate prea larg, adică dacă blochezi tot ce pare legat de AI fără să verifici lista exactă de user-agent-uri exceptate, riscul de a opri Googlebot devine real.

Un alt element de confuzie vine din faptul că mulți administratori de site-uri activează aceste reguli din panoul Cloudflare fără să citească documentația. Interfața pare simplă: trei butoane, trei categorii. Dar implicațiile tehnice nu sunt vizibile imediat.

Același tip de risc apare și în alte contexte tehnice. Când faci modificări la infrastructura unui site fără să înțelegi impactul complet, poți bloca involuntar funcționalități critice. Am discutat un scenariu similar în articolul despre modificările la AMP cache și cum afectează indexarea, unde o schimbare aparent minoră a lui Google a creat confuzie pentru mulți proprietari de site-uri.

Cum verifici dacă site-ul tău este afectat

Primul pas este să intri în panoul Cloudflare și să cauți secțiunea dedicată gestionării crawlerilor AI. Dacă nu ai modificat nimic, setările implicite din septembrie 2026 sunt active. Verifică exact ce este bifat pentru fiecare categorie.

Al doilea pas este să intri în Google Search Console și să verifici rapoartele de acoperire (Coverage) și de indexare. Dacă observi o scădere bruscă a paginilor indexate sau erori de tip „Crawl anomaly", aceasta poate fi o consecință a blocării accidentale.

Al treilea pas este să rulezi o verificare manuală. Folosește instrumentul „URL Inspection" din Search Console pentru a vedea dacă Googlebot poate accesa paginile tale. Dacă primești erori de acces, problema poate veni din regulile Cloudflare.

Al patrulea pas este să verifici fișierul robots.txt. Uneori, Cloudflare poate modifica sau suprascrie reguli din robots.txt prin propriile sale filtre de securitate. Asigură-te că Googlebot nu este listat ca agent blocat.

Dacă folosești și alte soluții de securitate sau CDN pe lângă Cloudflare, verifică și acolo. Regulile se pot suprapune și efectul cumulat poate fi mai sever decât fiecare regulă individuală.

Ce înseamnă pentru tine, ca antreprenor sau marketer român

Imaginează-ți că ai un magazin online sau un site de servicii, că investești în SEO, că publici conținut constant și că, la un moment dat, cineva din echipă activează opțiunea de blocare a crawlerilor AI din Cloudflare pentru că „a citit că e bine să îți protejezi conținutul față de roboții AI."

Peste câteva săptămâni, traficul organic scade. Nu dramatic, nu imediat, ci treptat. Paginile noi nu mai apar în index. Cele vechi încep să piardă poziții. Cauți motivul în calitatea conținutului, în algoritmul Google, în concurență.

Răspunsul real este în panoul Cloudflare, la o setare activată fără să se știe exact ce face.

Acesta nu este un scenariu ipotetic. Este tipul de problemă pe care îl întâlnim în auditurile tehnice ale site-urilor clienților. O decizie luată cu intenții bune, fără documentare suficientă, poate costa luni de recuperare a indexării.

Contextul din 2026 este relevant și pentru strategia de conținut în sens mai larg. Dacă îți optimizezi site-ul pentru citare de LLM-uri (ceea ce în industrie se numește GEO, Generative Engine Optimization), trebuie să te asiguri că tocmai crawlerii AI de tip Search au acces la conținutul tău. Blocarea lor în ideea că „îți protejezi datele față de AI" produce exact efectul opus: dispari din răspunsurile generate de modelele AI.

Cloudflare, Google și tensiunea dintre protecție și vizibilitate

Există o tensiune reală în piață acum. Pe de o parte, proprietarii de site-uri vor să controleze cine le folosește conținutul pentru antrenarea modelelor AI, mai ales în lipsa unei remunerații. Pe de altă parte, aceiași proprietari vor să fie indexați, citați și vizibili atât în căutarea clasică, cât și în răspunsurile generate de AI.

Cloudflare încearcă să ofere o soluție granulară pentru această tensiune. Clasificarea pe trei categorii este un pas în direcția corectă. Dar instrumentul este util doar dacă îl folosești cu precizie, nu cu butonul „blochează tot ce e AI."

Decizia de a bloca crawlerii de tip Training este legitimă și poate fi justificată în anumite contexte, de exemplu pentru site-uri cu conținut specializat, cu drepturi de autor bine definite sau cu date sensibile. Dar această decizie trebuie luată deliberat, cu o verificare prealabilă a listei de user-agent-uri afectate și cu monitorizare activă a indexării după implementare.

Același principiu se aplică și în cazul altor configurații tehnice care afectează vizibilitatea. Detaliile contează mai mult decât butoanele mari și verzi. Am scris despre un fenomen similar în contextul optimizării tehnice: de ce măsori elementul greșit atunci când încerci să repari LCP este exact același tip de greșeală, o intervenție tehnică aparent corectă care nu rezolvă problema reală.

FAQ: Cloudflare, crawleri AI și Googlebot

Dacă blochez crawlerii de tip Training în Cloudflare, Googlebot va fi automat blocat?

Nu automat, dar există un risc real dacă regulile nu sunt configurate corect. Cloudflare ar trebui să excepteze explicit Googlebot din regulile de blocare Training, dar comportamentul exact depinde de versiunea de configurație și de setările personalizate aplicate de fiecare utilizator. Verificarea în Search Console rămâne obligatorie după orice modificare.

Cum știu ce user-agent-uri sunt afectate de fiecare categorie?

Cloudflare publică o listă în documentația oficială, actualizată periodic. Înainte de a activa orice regulă, accesează documentația și verifică lista completă. Nu te baza pe denumirile vizuale din panou, acestea sunt simplificări.

Merită să blochezi crawlerii AI de tip Training?

Depinde de contextul tău. Dacă ai conținut cu valoare comercială ridicată și nu vrei ca acesta să fie folosit pentru antrenarea modelelor fără consimțământ, blocarea are sens. Dar calculează și costul vizibilității reduse în sistemele AI generative, care devin din ce în ce mai importanți ca sursă de trafic calificat.

Ce facem noi la ALLSoft Agency

Instrumentele AI, inclusiv cele de la Cloudflare, sunt utile pentru analiză și pentru automatizarea configurărilor repetitive. Dar decizia de a bloca sau permite accesul unui crawler la site-ul tău nu este o decizie pe care o poți delega unui sistem automat fără supraveghere umană.

Un specialist care înțelege cum funcționează indexarea, cum se comportă Google față de regulile de acces și ce înseamnă GEO în 2026 este cel care trebuie să ia această decizie, cu date concrete din Search Console și din rapoartele de crawl.

La ALLSoft Agency facem audituri tehnice care includ exact acest tip de verificare: configurații de server și CDN, reguli de acces pentru crawleri, comportament de indexare, și identificăm problemele înainte să coste luni de recuperare. Dacă nu ești sigur că site-ul tău este accesat corect de Googlebot și de crawlerii AI relevanți, acesta este momentul să verifici.