Robots txt WIX
Wil je de robots txt inzetten voor je WIX website? In deze blog leg ik je uit: wat je robots.txt in WIX is en hoe je hem kan instellen. Er achter komen waarom een robots.txt een onmisbaar instrument is voor jouw SEO strategie? Lees gauw verder!
Tip: Wil je je robots.txt SEO proof instellen? Ga aan de slag met mijn WIX seo cursus
Wat is je robots.txt in WIX?
Je robots.txt bestand is een document waarin je zoekmachines zoals Google en Bing vertelt waar ze jouw website wel en niet mogen uitlezen. In vaktermen: je vertelt waar de bots van Google jouw website wel en niet mogen crawlen. Elke keer als een zoekmachine langs komt, kijkt hij als eerst naar de robots.txt file. Vervolgens gaat hij aan de slag met het crawlen van je website. Je robots txt bestand is dus enorm belangrijk voor je WIX SEO.
Je robots.txt kun je goed inzetten om “duplicate content” te voorkomen en het ‘crawl budget’ van je website te optimaliseren. De bots van Google en andere zoekmachines hebben namelijk maar beperkt de tijd om jouw website te bekijken. Het is belangrijk om deze tijd zo efficiënt mogelijk te besteden.
Robots txt in WIX instellen
Wil je je robots.txt bestand aanpassen? Log in op je WIX website en ga naar de achterkant van je WIX website. Kies hier voor: SEO tools (zie afbeelding hieronder).
Daarna volg je de volgende stappen:
- Kies voor robots.txt editor
- Kies vervolgens voor: bestand aanpassen
- Voeg je richtlijnen toe
- Kies voor opslaan (zie afbeelding hieronder).
Voorbeeld Robots.txt in WIX
Nadat je je robots.txt file hebt ingesteld, kan je hem bekijken door te surfen naar: jouwwebsite.nl/robots.txt. Je robots.txt file kan er dan ongeveer zo uit zien (let op: dit hangt helemaal af van jouw SEO strategie, neem dit dus niet klakkeloos over).
Sitemap: https://www.jouwwebsite.nl/sitemap.xml
User-agent: *
Disallow: /afrekenen/
Disallow: /afspraak maken/
Disallow: /*?
Disalow: /*.pdf$
Richtlijnen WIX robots.txt
Wanneer je je robots.txt in WIX gaat instellen, hou dan rekening met de volgende richtlijnen:
- Hanteer een nette opbouw in je robots.txt en wees zo specifiek mogelijk.
- Plaats per regel één richtlijn (en dus niet naast elkaar)
- Wees er van bewust dat verschillende zoekmachines (waaronder Google) een onderscheid maakt tussen kleine en hoofdletters.
- Zorg er voor dat je robots.txt bestand niet groter is dan 500 kb
- Er zit geen maximum aan het aantal robots.txt regels (echter is een grote robots.txt file wel foutgevoelig)
- Heb je een subdomein (bijvoorbeeld: seo.seobrein.nl), maak voor dit subdomein dan een apparte robots.txt file aan.
- Elke zoekmachine hanteert andere richtlijnen. Ik adviseer je de richtlijnen van een zoekmachine te raadplegen wanneer er onduidelijkheden ontstaan. (richtlijnen Google , richtlijnen Bing, richtlijnen Yandex, richtlijnen Yahoo, richtlijnen baidu)
Tip: Test je robots.txt file voordat je hem live zet met de tool van Google. Als je geen fouten ziet, kan je hem live zetten.
FAQ
WIX Robots.txt of WIX meta tag?
Het is vaak lastig te beslissen wanneer je de robots.txt gebruikt en wanneer de meta no index tag. Zelf doe ik het volgende:
Situatie 1: Wanneer de pagina nog niet geindexeerd is door Google en ik hem niet in de index van google wil hebben. Oplossing: blokkeren in robots.txt en plaatsen no-index tag
Situatie 2: Wanneer de pagina geindexeerd is maar ik hem niet in de index wil hebben. Oplossing: niet uitsluiten in robots.txt en het plaatsen een no-index tag. Zodra je pagina door Google is uitgesloten (dit kan je zien in je indexdekking rapportage). Dan kan je hem ook uitsluiten in je robots.txt
Wat is Crawlen?
Wanneer een robot van google je website uitleest, wordt dit ook wel crawlen genoemd. Een crawler, kijkt naar zaken zoals: je HTML opmaak en je interne links. Het doel van een crawler is: huidige pagina’s monitoren en nieuwe pagina’s / links ontdekken. D.m.v. je robots.txt kan je bepalen welke pagina’s wel of niet gecrawld mogen worden.
Wat is crawl budget?
Crawl budget betekent: hoe vaak kan en wil een zoekmachine jouw website uitlezen. Google heeft niet de tijd om het volledige web dagelijks uit te lezen. Daarvoor moet het slimme keuzes maken. Zaken zoals het aantal pagina’s van je website, je autoriteit en het aantal fouten, spelen hier een belangrijke rol in.