Webcrawler
Wil je serieus met SEO aan de slag? Dan ontkom je niet aan een webcrawler. In deze blog, leg ik je uit: wat een webcrawler is, waar je op moet letten bij het kiezen van een webcrawler en deel ik mijn favoriete webcrawlers.
Wat is een webcrawler?
Een webcrawler is een SEO tool waarmee je een website kan uitlezen zoals een zoekmachine dat ook doet. Daarnaast is een webcrawler een uitermate handige tool om data te extraheren. Op die manier kan je inzichten creëren die handig zijn om: zelf te optimaliseren of te delen met een belanghebbende zoals een webdeveloper.
Waar let je op bij het kiezen van een webcrawler?
Bij het kiezen van een webcrawler, zijn er in de basis twee dingen van belang:
- Hoe groot is de website?
- Klein? Kies dan voor een desktop crawler. Voordelen: goedkoper t.o.v. cloud crawler. Nadelen: het vraagt veel rekenkracht van je computer (voor kleine websites geen probleem) en het is lastiger om samen te werken met klanten en collega’s
- Groot? Kies dan voor een cloud crawler. Voordelen: makkelijk samenwerken, handig voor grote websites en (vaak) betere data visualisatie. Nadeel: de prijs.
- Welke zaken worden er gecrawld die voor jou relevant zijn?
Heb jij een website die veel gebruik maakt van javascript of een AMP omgeving heeft, kijk dan specifiek op de website van de crawler of deze onderdelen gesupport worden.
De perfecte SEO crawler:
- Heeft een redelijke prijs
- Kan grote websites crawlen
- Kan crawls visualiseren en vergelijken
- Kan data integreren met bijv. server logs, Google analytics, Google search console en overige api’s die voor jou relevant zijn
- Kan eenvoudig data delen met klanten en collega’s
- Kan een lijst vertonen met near duplicates
- Kan pagina’s groeperen per categorie
- Kan AMP/ javascript pagina’s crawlen
- Heeft een duidelijk dashboard met issues die verbeterd dienen te worden
- Voorziet in je behoefte 😉
Top 3 SEO crawlers
Screamingfrog
Zelf ben ik opgegroeid met Screamingfrog. Screamingfrog is een desktop crawler die op je PC geinstalleerd moet worden. Zelf maak ik al jaren gebruik van deze crawler. Het is een fijne tool die blijft innoveren. Met deze webcrawler, kan je de modernste website technieken analyseren (denk bijvoorbeeld aan javascript frameworks). Daarnaast is hij erg handig om data te analyseren, visualiseren en om koppelingen te maken met API’s zoals: Semrush, Ahrefs, Google search console en Pagspeed insights. Daarnaast is het ook nog de goedkoopste SEO crawler op de markt (voor zover ik weet).
Sitebulb
Sitebulb is een goed alternatief voor Screamingfrog. Zelf heb ik niet veel met deze tool gewerkt. Wellicht komt dat wel omdat wij mensen gewoonte dieren zijn. Des al niet te min, kan je met deze desktop crawler de belangrijkste elementen analyseren. T.o.v. screamingfrog is deze tool een stuk gebruiksvriendelijker en visueler. Twijfel je tussen Screamingfrog en Sitebulb? Kijk dan vooral naar de features die je inzichtelijk wilt krijgen.
Deepcrawl
Ben je opzoek naar een echte krachtpatser? Moet je audits doen van grote websites? Kijk dan eens naar Deepcrawl. Deepcrawl is één van de beste cloud crawlers van dit moment. Het geeft een hoop extra inzichten en tips om je organische vindbaarheid te verbeteren. Daarnaast draait deze tool niet op je desktop maar in de cloud. Het grootste nadeel? De prijs.
FAQ
Waarom zou je een webcrawler kopen?
In eerste instantie om tijd te besparen. Als je data handmatig uit de DOM van een website moet halen, ben je daar uren mee bezig. Daarnaast is een webcrawler handig om inzichten te creeren die je anders niet inzichtelijk had kunnen maken. Denk aan de koppeling van al jou URLs en de data uit ligthouse van Google.
Wat kost een webcrawler?
Het verschilt. De prijzen verschillen tussen €200 per jaar t/m €1000 per maand. Alles is natuurlijk afhankelijk van jouw wensen en hoe groot je website is.
Wat is crawlen?
Wanneer een robot van google je website uitleest, wordt dit ook wel crawlen genoemd. Een crawler, kijkt naar zaken zoals: je HTML opmaak en je interne links. Het doel van een crawler is: huidige pagina’s monitoren en nieuwe pagina’s / links ontdekken.