Een robots.txt bestand oftewel de robots exclusion protocol is een bestand dat ervoor zorgt dat zoekmachines weten welke pagina’s ze wel en niet moeten crawlen. Dit kan erg handig zijn wanneer je veel pagina’s hebt die niet gecrawld moeten worden door Google.
Het robots.txt bestand kan gebruikt worden als een soort van hack. Het is een soort van legitieme SEO-hack die je kunt gebruiken om je website beter vindbaar te maken in Google. Het is een klein tekstbestand dat deel uitmaakt van je website.
Het bestand is ontworpen om samen te werken met zoekmachines maar het is een ook een manier om je vindbaarheid te verbeteren. Veel mensen weten dit helemaal niet eens. Er zijn veel methodes om je SEO te verbeteren die niet moeilijk of tijdrovend zijn en dit is er een van. Je hebt hier ook geen technische ervaring voor nodig.
Het robots.txt bestand is een bestand dat zoekmachines verteld welke pagina’s gecrawld moeten worden en welke niet. Wanneer een zoekmachine dus een website crawlt dan kijkt de zoekmachine eerst naar het robots.txt bestand om te kijken wat er wel en wat niet gecrawld moet worden.
Een voorbeeld van hoe een robots.txt bestand eruitziet is wanneer je kijkt op searchcobra.nl/robots.txt
(Dit kun je trouwens bij elke website toepassen, de URL plus /robots.txt)
Je krijgt dan het volgende te zien:
User-agent: *
Disallow: /wp/wp-admin/
Allow: /wp/wp-admin/admin-ajax.php
Dit stukje tekst is de tekst van het robots.txt bestand van onze website. Dit is het basisskelet van een robots.txt-bestand. Het sterretje achter 'user-agent' betekent dat het robots.txt-bestand van toepassing is op alle webrobots die de site bezoeken.
Alles wat achter 'Disallow' staat vertelt de robot om geen enkele pagina op de site te bezoeken met deze link. Je vraagt je misschien af waarom iemand zou willen dat een zoekmachine een bepaalde pagina bezoekt. Het is namelijk belangrijk dat zoekmachines je website crawlen om hoger in Google te komen.
Echter, veel websites hebben erg veel pagina’s waardoor het crawlen een stuk langzamer wordt. De zoekmachine crawlt dan namelijk alle pagina’s. Dit kan nadelen hebben voor je ranking. Dat komt omdat de Googlebot (de zoekmachine-bot van Google) een 'crawlbudget' heeft. Dit bestaat uit de crawl rate limit en de crawl demand.
Het crawlbudget is eigenlijk 'het aantal URL's dat de Googlebot kan en wil crawlen'. Je wil de Googlebot natuurlijk helpen het crawlbudget zo goed mogelijk voor je site te besteden. Met andere woorden, het zou alleen je meest waardevolle pagina's moeten crawlen.
Bepaalde factoren die een negatieve invloed hebben op het crawlen zijn bijvoorbeeld dubbele content, gehackte pagina’s, error pagina’s, spam, lage kwaliteit content etc.
Wanneer je een goed robots.txt bestand maakt kun je dus zoekmachines vertellen om bepaalde pagina’s te vermijden.
Pagina’s om te vermijden zijn bijvoorbeeld pagina’s met dubbele content of bedankt pagina’s. Een bedankt pagina wordt vaak een conversie op gemeten dus je wilt absoluut niet dat iemand hierop komt via Google. Ook wil je de backend van je website uitsluiten zoals wij ook hebben gedaan. Zie het voorbeeld van ons robots.txt bestand.
Google zegt dit over het crawlen van een website:
“You don’t want your server to be overwhelmed by Google’s crawler or to waste crawl budget crawling unimportant or similar pages on your site.”
Door je robots.txt bestand op de juiste manier te gebruiken kun je de bots van zoekmachines vertellen dat ze hun crawlbudget goed moeten besteden. Op deze manier zorg je ervoor dat je SEO dus beter wordt.
Je kunt wanneer deze er nog niet is je robot.txt bestand uploaden in de root directory van je website.
Door je robots.txt-bestand op de juiste manier in te stellen verbeter je je SEO. Als zoekmachinebots hun crawlbudget effectief kunnen besteden zullen ze je inhoud beter organiseren en weergeven in de SERP's. Dit betekent ook dat je beter zichtbaar bent.
Heb je hulp nodig hiermee of kom je er niet uit? Neem dan contact op met ons team en wij helpen je graag verder!