Robots.txt WordPress
Je bent van plan om aan de slag te gaan met Technische SEO voor je WordPress website. Je wilt invloed hebben op de pagina’s die Google wel en niet mag uitlezen door je robots.txt bestand goed in te stellen. De enigste vraag die je nog hebt: Hoe stel je een robots.txt file in WordPress in? Dat leg ik je in deze blogpost stap voor stap uit.
Hoe stel je je robots.txt bestand in WordPress in?
Wanneer je een serieus met WordPress SEO aan de slag gaat, is het van belang om elke pagina of post die je niet in de index van Google wilt hebben, te blokkeren in je robots.txt file. Doe je dit op de juiste manier, dan zorgt het ervoor dat Google je pagina niet meer uitleest en zeer waarschijnlijk ook niet indexeert in Google.
Er zijn twee manieren om je robots.txt in te stellen:
- Je vraagt je webdeveloper je robots.txt bestand naar je root domein upload.
- Je gebruikt een SEO plugin
In de paragraven hieronder, laat ik je zien hoe je een robots.txt kan instellen via Yoast, Rank Math of SEOpress.
Tip: Je robots.txt SEO proof instellen? Ga aan de slag met mijn WordPress SEO cursus
Robots.txt Yoast
Je robots.txt bestand kan je bij de Yoast plugin via het dashboard instellen. Dit doe je als volgt:
- Open het dasbhoard van je WordPress website
- Ga naar de Yoast SEO plugin in het linker menu
- Kies voor: gereedschap
- Kies voor: bestandseditor
- Pas je robots.txt aan en kies op opslaan.
Tip: Test de wijzigingen in je robots.txt bestand voordat je hem opslaat.
Robots.txt Rank Math
Je robots.txt bestand kan je bij de Rank Math via het dashboard instellen. Dit doe je als volgt:
- Open de achterkant van je website
- Ga naar Rank Math plugin
- Kies voor: general settings
- Kies voor: robots.txt aanpassen.
- Pas je robots.txt aan en kies op opslaan.
Robots.txt SEOpress
Je robots.txt bestand kan je bij de SEOpress via het dashboard instellen. Dit doe je als volgt:
- Open de achterkant van je website
- Ga naar SEOpress aan de achterkant van je website.
- Kies voor: pro
- Kies voor: robots.txt.
- Pas je robots.txt aan en kies op opslaan.
FAQ
Wat is Crawlen?
Wanneer een robot van google je website uitleest, wordt dit ook wel crawlen genoemd. Een crawler, kijkt naar zaken zoals: je HTML opmaak en je interne links. Het doel van een crawler is: huidige pagina’s monitoren en nieuwe pagina’s / links ontdekken. D.m.v. je robots.txt kan je bepalen welke pagina’s wel of niet gecrawld mogen worden.
Wat is crawl budget?
Crawl budget betekent: hoe vaak kan en wil een zoekmachine jouw website uitlezen. Google heeft niet de tijd om het volledige web dagelijks uit te lezen. Daarvoor moet het slimme keuzes maken. Zaken zoals het aantal pagina’s van je website, je autoriteit en het aantal fouten, spelen hier een belangrijke rol in.
Robots.txt of meta no-index tag?
Het is vaak lastig te beslissen wanneer je de robots.txt gebruikt en wanneer de no-index tag. Zelf doe ik het volgende:
Situatie 1: Wanneer de pagina nog niet geindexeerd is door Google en ik hem niet in de index van google wil hebben.
Oplossing: blokkeren in robots.txt en plaatsen no-index tag
Situatie 2: Wanneer de pagina geindexeerd is maar ik hem niet in de index wil hebben.
Oplossing: niet uitsluiten in robots.txt en het plaatsen een no-index tag. Zodra je pagina door Google is uitgesloten (dit kan je zien in je indexdekking rapportage). Dan kan je hem ook uitsluiten in je robots.txt
Kan je pagina in de index van Google komen als hij geblokkeerd is in robots.txt?
De kans is klein, maar in theorie kan het. Vaak krijgt deze pagina dan veel (externe) links van andere pagina’s. Hierdoor kan Google bepalen de pagina alsnog te indexeren. In dat geval, zou ik hem niet uitsluiten in je robots.txt maar een no-index tag plaatsen