Robots.txt este un fișier text care permite unui site web să ofere instrucțiuni roboților de pe web.
Acesta spune motoarelor de căutare precum Google ce părți ale site-ului dvs. web pot și nu pot accesa atunci când indexează site-ul.
Acest lucru face ca robots.txt să fie un instrument puternic pentru SEO și poate fi, de asemenea, utilizat pentru a asigura că anumite pagini nu apar în rezultatele căutării Google.
Cum funcționează Robots.txt?
Robots.txt este un fișier text pe care îl puteți crea pentru a spune roboților motoarelor de căutare ce pagini să acceseze și să indexeze pe site-ul dvs. Acesta este de obicei stocat în directorul rădăcină al site-ului dvs.
Motoarele de căutare precum Google folosesc roboți de pe web, numiți uneori roboți web, pentru a arhiva și clasifica site-urile web. Majoritatea roboților sunt configurați să caute un fișier robots.txt pe server înainte de a citi orice alt fișier de pe site. Un robot face acest lucru pentru a vedea dacă proprietarul unui site web are instrucțiuni speciale privind accesarea și indexarea site-ului său.
Fișierul robots.txt conține un set de instrucțiuni care solicită botului să ignore fișiere sau directoare specifice. Acest lucru poate fi din motive de confidențialitate sau deoarece proprietarul site-ului consideră că conținutul acelor fișiere și directoare este irelevant pentru clasificarea site-ului în motoarele de căutare.
Iată un exemplu de fișier robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
În acest exemplu, asteriscul '*' de după 'User-Agent' specifică faptul că instrucțiunile sunt pentru toate motoarele de căutare.
Apoi, permitem motoarelor de căutare să acceseze și să indexeze fișierele din folderul de încărcări WordPress. Apoi, le interzicem accesarea și indexarea folderelor de pluginuri și de administrare WordPress.
Rețineți că dacă nu interziceți o adresă URL, roboții motoarelor de căutare vor presupune că le pot indexa.
În final, am furnizat URL-ul sitemap-ului nostru XML.
Cum să creezi un fișier Robots.txt în WordPress
Cel mai ușor mod de a crea un fișier robots.txt este folosind All in One SEO. Este cel mai bun plugin SEO WordPress de pe piață și vine cu un generator de fișiere robots.txt ușor de utilizat.
Un alt instrument pe care îl puteți folosi este WPCode, un plugin puternic pentru fragmente de cod care vă permite să adăugați cod personalizat pe site-ul dvs. ușor și în siguranță. Versiunea Pro include o funcție utilă care vă permite să editați rapid fișierul robots.txt.
Cu toate acestea, dacă sunteți familiarizat cu codul, atunci puteți crea fișierul robots.txt manual. Va trebui să folosiți un client FTP pentru a edita fișierul robots.txt. Alternativ, puteți folosi managerul de fișiere furnizat de găzduirea dvs. WordPress.
Pentru mai multe detalii despre crearea unui fișier robots.txt, consultați ghidul nostru despre cum să optimizezi robots.txt-ul WordPress pentru SEO.
Cum să folosești Robots.txt pentru a opri motoarele de căutare să acceseze un site
Motoarele de căutare sunt cea mai mare sursă de trafic pentru majoritatea site-urilor web. Cu toate acestea, există câteva motive pentru care ai putea dori să descurajezi motoarele de căutare să-ți indexeze site-ul.
De exemplu, dacă încă îți construiești site-ul web, nu vei dori ca acesta să apară în rezultatele căutării. Același lucru este valabil și pentru blogurile private și rețelele intranet de afaceri.
Puteți folosi reguli de interzicere în fișierul robots.txt pentru a solicita motoarelor de căutare să nu indexeze întregul site sau doar anumite pagini. Veți găsi instrucțiuni detaliate în ghidul nostru despre cum să opriți motoarele de căutare să acceseze un site WordPress.
Puteți folosi instrumente precum All in One SEO pentru a adăuga automat aceste reguli în fișierul robots.txt.
Este important de reținut că nu toți roboții vor respecta un fișier robots.txt. Unii roboți malițioși vor citi chiar fișierul robots.txt pentru a afla ce fișiere și directoare ar trebui să vizeze mai întâi.
De asemenea, chiar dacă un fișier robots.txt instruiește roboții să ignore anumite pagini de pe site, acele pagini pot apărea în continuare în rezultatele căutării dacă sunt legate de alte pagini accesate.
Sperăm că acest articol v-a ajutat să aflați mai multe despre robots.txt în WordPress. De asemenea, ați putea dori să consultați lista noastră de lecturi suplimentare de mai jos pentru articole conexe despre sfaturi, trucuri și idei utile pentru WordPress.
Dacă ți-a plăcut acest articol, te rugăm să te abonezi la canalul nostru de YouTube pentru tutoriale video WordPress. Ne poți găsi, de asemenea, pe Twitter și Facebook.
Lectură suplimentară
- Cum să adăugați site-ul dvs. WordPress în Google Search Console
- Cum să împiedici motoarele de căutare să acceseze un site WordPress
- Cum să optimizați fișierul Robots.txt WordPress pentru SEO
- Cum să ascundeți o pagină WordPress de Google (4 metode)
- SEO
- Ce este un fișier Sitemap XML? Cum să creezi un fișier Sitemap în WordPress
