Robots.txt to plik tekstowy, który pozwala witrynie internetowej przekazywać instrukcje botom indeksującym strony internetowe.
Mówi on wyszukiwarkom, takim jak Google, do których części Twojej witryny mogą, a do których nie mogą uzyskać dostępu podczas indeksowania Twojej witryny.
To czyni robots.txt potężnym narzędziem SEO i może być również używane do zapewnienia, że pewne strony nie pojawią się w wynikach wyszukiwania Google.
Jak działa Robots.txt?
Robots.txt to plik tekstowy, który możesz utworzyć, aby poinformować boty wyszukiwarek, które strony mają indeksować i przeszukiwać w Twojej witrynie. Zazwyczaj jest on przechowywany w katalogu głównym Twojej witryny.
Wyszukiwarki takie jak Google używają robotów sieciowych, czasami nazywanych botami sieciowymi, do archiwizowania i kategoryzowania stron internetowych. Większość botów jest skonfigurowana do wyszukiwania pliku robots.txt na serwerze, zanim odczytają jakikolwiek inny plik z witryny. Bot robi to, aby sprawdzić, czy właściciel witryny ma specjalne instrukcje dotyczące indeksowania i przeszukiwania jego witryny.
Plik robots.txt zawiera zestaw instrukcji, które proszą bota o zignorowanie określonych plików lub katalogów. Może to być ze względu na prywatność lub dlatego, że właściciel witryny uważa, że zawartość tych plików i katalogów jest nieistotna dla kategoryzacji witryny w wyszukiwarkach.
Oto przykład pliku robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
W tym przykładzie gwiazdka '*' po 'User-Agent' określa, że instrukcje są przeznaczone dla wszystkich wyszukiwarek.
Następnie zezwalamy wyszukiwarkom na przeszukiwanie i indeksowanie plików w naszym folderze przesłanych plików WordPress. Następnie zabraniamy im przeszukiwania i indeksowania folderów wtyczek i administratora WordPress.
Pamiętaj, że jeśli nie zablokujesz adresu URL, boty wyszukiwarek będą zakładać, że mogą go indeksować.
Na koniec podaliśmy adres URL naszej mapy witryny XML.
Jak utworzyć plik Robots.txt w WordPress
Najprostszym sposobem na utworzenie pliku robots.txt jest użycie All in One SEO. Jest to najlepsza wtyczka SEO dla WordPress na rynku i zawiera łatwy w użyciu generator pliku robots.txt.
Innym narzędziem, którego możesz użyć, jest WPCode, potężna wtyczka do fragmentów kodu, która pozwala łatwo i bezpiecznie dodawać niestandardowy kod do Twojej witryny. Wersja Pro zawiera przydatną funkcję, która pozwala szybko edytować plik robots.txt.
Jeśli jednak znasz się na kodowaniu, możesz utworzyć plik robots.txt ręcznie. Będziesz musiał użyć klienta FTP do edycji pliku robots.txt. Alternatywnie możesz użyć menedżera plików dostarczonego przez hosting WordPress.
Więcej szczegółów na temat tworzenia pliku robots.txt znajdziesz w naszym przewodniku jak zoptymalizować plik robots.txt WordPress pod kątem SEO.
Jak używać Robots.txt do zatrzymania indeksowania witryny przez wyszukiwarki
Wyszukiwarki internetowe są największym źródłem ruchu dla większości stron internetowych. Istnieje jednak kilka powodów, dla których możesz chcieć zniechęcić wyszukiwarki do indeksowania Twojej witryny.
Na przykład, jeśli nadal tworzysz swoją stronę internetową, nie będziesz chciał, aby pojawiła się ona w wynikach wyszukiwania. To samo dotyczy prywatnych blogów i intranetów firmowych.
Możesz użyć reguł disallow w pliku robots.txt, aby poprosić wyszukiwarki o nieindeksowanie całej Twojej witryny lub tylko określonych stron. Szczegółowe instrukcje znajdziesz w naszym przewodniku na temat jak zatrzymać wyszukiwarki przed indeksowaniem witryny WordPress.
Możesz użyć narzędzi takich jak All in One SEO, aby automatycznie dodać te reguły do pliku robots.txt.
Ważne jest, aby pamiętać, że nie wszystkie boty będą przestrzegać pliku robots.txt. Niektóre złośliwe boty będą nawet czytać plik robots.txt, aby dowiedzieć się, które pliki i katalogi powinny najpierw zaatakować.
Ponadto, nawet jeśli plik robots.txt instruuje boty, aby ignorowały określone strony w witrynie, te strony mogą nadal pojawiać się w wynikach wyszukiwania, jeśli są połączone z innymi zaindeksowanymi stronami.
Mamy nadzieję, że ten artykuł pomógł Ci dowiedzieć się więcej o robots.txt w WordPress. Możesz również zapoznać się z naszą listą Dodatkowe lektury poniżej, aby znaleźć powiązane artykuły z przydatnymi wskazówkami, sztuczkami i pomysłami dotyczącymi WordPress.
Jeśli podobał Ci się ten artykuł, zasubskrybuj nasz kanał YouTube po samouczki wideo WordPress. Możesz nas również znaleźć na Twitterze i Facebooku.
