robots.txt
robots.txt este un fisier text plasat in radacina domeniului care spune crawlerelor ce sectiuni au voie sa parcurga si ce sa evite. Conteaza fiindca gestioneaza bugetul de crawl si tine botii departe de zone inutile. Atentie: blocheaza parcurgerea, nu indexarea, deci nu ascunde sigur o pagina din Google.
Exemplu: Pe un magazin Shopify, "Disallow: /cart" si "Disallow: /checkout" tin botii departe de paginile de cos, care nu au valoare SEO. Astfel, cele cateva mii de accesari de crawl zilnice merg catre cele 400 de pagini de produs si colectie care chiar trebuie indexate.
Întrebări frecvente
robots.txt scoate o pagina din Google?
Nu. El opreste doar parcurgerea (crawl), nu indexarea. O pagina blocata in robots.txt poate aparea totusi in rezultate daca primeste linkuri externe. Ca sa o scoti din index, lasa botul sa o parcurga si pune noindex sau parola, nu Disallow.
Care e diferenta intre robots.txt si noindex?
robots.txt controleaza accesul crawlerului la URL, la nivel de fisier. noindex e o directiva pe pagina care spune sa nu fie indexata. Daca blochezi un URL in robots.txt, Google nu mai parcurge pagina si nu mai vede noindex-ul de pe ea, deci cele doua nu se combina pentru aceeasi pagina.
Unde trebuie pus fisierul?
Exact in radacina domeniului, la /robots.txt (ex: site.ro/robots.txt). Se aplica per host si protocol, nu intr-un subfolder. Pe Shopify este generat automat si poate fi personalizat din robots.txt.liquid.
Diagnoza o dă AI-ul. Execuția o facem noi.
Înțelegi termenul, noi îți optimizăm contul real, pe baza a sute de campanii. Începe cu un audit gratuit.
Audit site gratuit →