Wat zijn zoekmachine-spiders?

Een zoekmachine-spider is een programma dat websites bezoekt, de inhoud ophaalt en doorgeeft aan de zoekmachine. Ze heten ook crawler of bot. Die van Google heet Googlebot.

Ze volgen links van pagina naar pagina, zoals een spin over een web loopt. Vandaar de naam.

Voor wie een website beheert is dit geen theorie. Vrijwel elk geval van "mijn site staat niet in Google" dat ik tegenkom, komt neer op iets wat de crawler tegenhield. Meestal iets kleins, en bijna altijd iets wat je in tien minuten had gezien als je wist waar je moest kijken.

Wat een crawler doet als hij langskomt

Technisch gebeurt er niets bijzonders. De crawler doet precies wat je browser doet: hij vraagt een adres op bij je server en krijgt de HTML terug. Hij zegt er alleen bij wie hij is, in de regel die de user-agent heet.

Belangrijker is wat een crawler niet doet.

• Hij logt niet in. Wat achter een wachtwoord staat bestaat voor hem niet.
• Hij vult geen formulieren in. Een pagina die je alleen bereikt door een keuze te maken en op zoeken te drukken, wordt niet gevonden.
• Hij onthoudt niets tussen bezoeken. Googlebot bewaart geen cookies van het ene verzoek naar het andere, dus alles wat afhangt van een eerdere stap valt weg.
• Hij leest niet eindeloos door. Van een HTML-bestand neemt Googlebot de eerste vijftien megabyte mee. Dat is voor gewone pagina's ruim.

Wat hij wel doet, is vragen of de pagina is gewijzigd sinds zijn vorige bezoek. Antwoordt je server dat er niets veranderd is, dan hoeft de hele pagina niet opnieuw over de lijn. Servers die altijd de volledige pagina terugsturen maken hun eigen bezoek duurder dan nodig.

Crawlen, renderen en indexeren zijn drie dingen

Deze drie worden constant door elkaar gehaald, en juist het verschil verklaart de meeste problemen.

Crawlen is het ophalen van de pagina. Renderen is het uitvoeren van die pagina in een browser, inclusief JavaScript, zodat zichtbaar wordt wat een bezoeker werkelijk ziet. Google gebruikt hiervoor een versie van Chrome. Indexeren is het opslaan van de inhoud in de zoekindex.

Renderen kost veel meer rekenkracht dan ophalen. Daarom gebeurt het later, soms uren of dagen na de eerste crawl. Inhoud die meteen in de HTML staat wordt dus eerder en betrouwbaarder verwerkt dan inhoud die pas door JavaScript wordt toegevoegd. Bij WordPress speelt dat zelden, want daar komt de tekst gewoon uit de server.

Dit artikel gaat over de eerste stap, het ophalen. Wat er daarna met je pagina gebeurt en waarom hij wel of niet in de resultaten komt staat bij indexering door zoekmachines.

Hoe ze je pagina's vinden

Een crawler kent geen lijst van alle websites ter wereld. Hij komt bij je binnen langs vier wegen.

• Links van andere sites. De oorspronkelijke manier en nog steeds de sterkste. Wie nergens genoemd wordt, wordt laat gevonden.
• Links binnen je eigen site. Vanaf je startpagina loopt de crawler door naar alles wat daaraan hangt. Een pagina waar geen enkele link naartoe wijst noemen we een weespagina en die wordt zelden bezocht.
• Je sitemap. Een bestand waarin je zelf opsomt welke adressen er zijn.
• Adressen die hij al kende. Een pagina die ooit bestond wordt nog jaren opnieuw geprobeerd, ook als je hem hebt verwijderd.

Een nieuwe site zonder enkele link van buiten kan weken duren voordat hij wordt opgepikt. Meld hem daarom aan in Search Console en zorg voor één link van buitenaf.

Er is niet één crawler

Googlebot bestaat in meerdere smaken. De belangrijkste is de mobiele: sinds 2024 crawlt Google alle sites met een crawler die zich voordoet als een telefoon. Wat op mobiel niet zichtbaar is, telt in de praktijk niet mee.

Daarnaast zijn er aparte crawlers voor afbeeldingen, video, nieuws en advertenties. Die laatste, AdsBot, controleert de bestemmingspagina's van je advertenties en trekt zich weinig aan van een algemeen verbod in robots.txt.

Verder komt er van alles langs dat niet van Google is:

• Bingbot. De crawler van Bing, en daarmee indirect ook de bron voor een deel van de antwoorden in andere diensten.
• Crawlers van SEO-pakketten. Ahrefs, Semrush en soortgelijke bouwen hun eigen index van links. Nuttig als je hun gegevens gebruikt, verder puur belasting op je server.
• Archiefcrawlers. Het Internet Archive legt pagina's vast zoals ze op een moment waren.
• AI-crawlers. GPTBot van OpenAI, ClaudeBot van Anthropic, PerplexityBot, CCBot van Common Crawl en Google-Extended.
• Kwaadaardige bots. Scrapers die je teksten kopiëren, en scripts die op zoek zijn naar een verouderde plugin om binnen te komen.

Hoe je controleert of een crawler echt is

Elke bot kan zeggen dat hij Googlebot is. Kwaadaardige scripts doen dat regelmatig, in de hoop dat jij ze doorlaat.

De echte controle gaat via het IP-adres. Zoek de naam op die bij dat adres hoort, en controleer of die eindigt op googlebot.com of google.com. Zoek daarna vanaf die naam terug naar het adres. Klopt dat rondje niet, dan is het geen Googlebot. Google publiceert daarnaast zijn adresreeksen in een bestand dat je kunt inlezen, en de meeste beveiligingsplugins doen deze controle automatisch.

AI-crawlers weren of toelaten

Dit is een echte afweging en er is geen goed antwoord dat voor iedereen geldt.

Weren houdt je teksten uit trainingsdata. Het betekent ook dat je niet meer wordt genoemd als iemand een AI-assistent een vraag stelt waar jouw artikel het antwoord op is. Voor een kennisbank die bedoeld is om gevonden te worden, weegt dat tweede voor mij zwaarder. Voor een fotograaf of een uitgever van betaalde cursussen ligt het andersom.

Er zitten twee soorten in die groep. De ene verzamelt tekst om een model mee te trainen. De andere haalt op het moment van de vraag één pagina op om er een antwoord mee te geven, en dat is de soort die naar je doorlinkt. Ze hebben verschillende namen, dus je kunt de eerste weren en de tweede toelaten.

Google-Extended is precies voor die keuze gemaakt: die naam weert je site uit de training zonder je positie in de gewone zoekresultaten te raken. Bij OpenAI is GPTBot degene die verzamelt, terwijl er een aparte naam is voor het ophalen van een pagina waar een gebruiker op dat moment om vraagt.

Bedenk wel wat robots.txt is: een verzoek, geen slot. Wil je echt blokkeren, dan doe je dat aan de serverkant of bij je proxy. Cloudflare heeft er sinds 2024 een knop voor, en sinds juli 2025 staan nieuwe domeinen daar standaard dicht voor AI-crawlers. Controleer die instelling dus als je opeens uit AI-antwoorden verdwijnt.

Crawlbudget en wanneer het telt

Crawlbudget is de hoeveelheid aandacht die een zoekmachine aan jouw site besteedt. Het bestaat uit twee delen: wat je server aankan zonder traag te worden, en hoeveel zin de zoekmachine heeft om langs te komen. Dat tweede hangt af van hoe vaak je iets verandert en hoe belangrijk je pagina's gevonden worden.

Voor verreweg de meeste sites is dit geen onderwerp. Google zegt zelf dat een site met minder dan een paar duizend adressen zonder problemen wordt doorgelopen. Het gaat pas spelen bij tienduizenden pagina's, bij webshops die adressen genereren, of als je server traag is.

Dat laatste is de reden dat snelheid en crawlen met elkaar te maken hebben. Doet je server er een seconde over per pagina, dan haalt de crawler er in dezelfde tijd tien keer minder op dan bij honderd milliseconden. De knop waarmee je in Search Console het crawltempo kon afremmen is begin 2024 verdwenen. Google regelt het nu zelf op basis van hoe je server reageert, dus het antwoord op te veel crawlverkeer is snellere hosting.

Waar crawlbudget weglekt

Vrijwel altijd aan pagina's die niet in de index hoeven.

• Filters en sorteringen in een webshop. Elke combinatie van kleur, maat en prijs krijgt een eigen adres. Vier filters leveren zo duizenden adressen op die allemaal vrijwel hetzelfde tonen.
• Zoekresultaatpagina's van je eigen zoekfunctie. Oneindig veel adressen, geen enkele waarde voor een zoekmachine.
• Sessieparameters en trackingcodes in adressen. Dezelfde pagina onder tien verschillende adressen.
• Paginering die eindeloos doorloopt. Kalenders zijn hier berucht in: een crawler kan tot het jaar 2400 doorklikken.
• Ketens van doorverwijzingen. Elke stap kost een aparte aanvraag. Na een stuk of vijf geeft de crawler het op.

Wat je in je serverlogboeken ziet

Dit is de enige plek waar je precies ziet wat er langskomt, en het wordt zelden bekeken. Elke webserver schrijft elk verzoek weg: het adres van de bezoeker, het tijdstip, welke pagina werd gevraagd, welke code hij terugkreeg, hoeveel bytes eroverheen gingen en welke naam de bezoeker opgaf.

Die laatste twee kolommen maken het bruikbaar. Filter op de regels waarin Googlebot staat en je ziet in één oogopslag welke pagina's aandacht krijgen, welke nooit worden opgehaald en welke antwoordcode de crawler werkelijk kreeg.

Waar die logboeken staan

Bij gedeelde hosting vind je ze in het controlepaneel, meestal onder een naam als ruwe logbestanden of toegangslogboek. Op een eigen server staan ze in de logmap van Apache of nginx. Bij sommige beheerde WordPress-pakketten krijg je ze alleen op verzoek, en dat is een reden om ernaar te vragen voordat je ergens klant wordt. Bij goede hosting zijn ze gewoon beschikbaar.

Let op twee dingen. Logboeken worden na een paar dagen tot weken opgeschoond, dus wil je een langere periode bekijken, zorg dan eerst dat ze bewaard blijven. En zit je achter een tussenlaag zoals Cloudflare, dan staat daarin het adres van die tussenlaag en niet dat van de echte bezoeker.

Wat je eruit haalt

De vondst die het vaakst uit een logboek komt: Googlebot krijgt een andere antwoordcode dan jij. Jij opent de pagina en ziet hem, de crawler krijgt een 403 of een 503 van je firewall. Dat merk je op geen enkele andere manier, want in je statistiekenpakket staan bots niet.

Daarnaast zie je hoe vaak er wordt langsgekomen en waaraan die aandacht opgaat. Bij grotere sites is dat vaak schrikken: het merendeel van de bezoeken gaat naar filterpagina's terwijl je nieuwe artikelen blijven liggen. Je ziet ook welke andere bots er zijn, en bij overlast is dat meestal een SEO-pakket of een scraper en niet Googlebot.

Voor een gewone bedrijfssite is dit geen wekelijkse klus. Eens per kwartaal is genoeg, plus een keer als er iets misgaat.

Bedenk wel dat er IP-adressen in die logboeken staan, en dat zijn persoonsgegevens. Ze vallen dus onder je bewaarbeleid en onder de afspraken met je hostingpartij.

Wat je in Search Console ziet

Search Console toont een deel van hetzelfde, zonder dat je in logbestanden hoeft te duiken.

Met de URL-inspectie bekijk je één adres: is het bekend, wanneer is het voor het laatst opgehaald, en hoe zag de pagina eruit na het renderen. Die laatste weergave is goud waard bij twijfel over JavaScript.

Onder Instellingen staan de crawlstatistieken: hoeveel verzoeken per dag, hoe snel je server antwoordde en welke codes hij teruggaf. Een piek in fouten of een oplopende reactietijd zie je hier eerder dan in je bezoekcijfers. Het is de lichte versie van een logboekanalyse, beperkt tot Google en tot de laatste maanden.

Hoe je crawlers stuurt

Het instrument dat over crawlen gaat is robots.txt. Een tekstbestand in de hoofdmap van je site, bereikbaar op jouwdomein.nl/robots.txt. Daarin staat per crawler welke adressen hij wel en niet mag ophalen. Sinds 2022 is het formaat een officiële standaard.

Wat het doet: voorkomen dat de inhoud wordt opgehaald. Wat het niet doet: voorkomen dat het adres in de zoekresultaten verschijnt. Google kan een geblokkeerd adres alsnog tonen, met de mededeling dat er geen beschrijving beschikbaar is, puur op basis van links die ernaartoe wijzen.

Drie valkuilen die ik regelmatig zie:

• Een noindex-regel in robots.txt. Die wordt sinds september 2019 genegeerd. Gebruik hem niet.
• Blokkeren én een noindex plaatsen. Dat werkt tegen elkaar in: de crawler mag de pagina niet ophalen en leest de noindex dus nooit.
• CSS- en JavaScriptmappen blokkeren. Vroeger een gewoonte, nu schadelijk. Google moet de pagina kunnen renderen om te beoordelen hoe hij eruitziet.

De andere drie instrumenten gaan over wat er met de opgehaalde pagina gebeurt: de robots-instructie in de pagina zelf met de waarde noindex, de canonieke verwijzing bij dezelfde inhoud op meerdere adressen, en de sitemap. Die staan uitgewerkt in het artikel over indexering door zoekmachines.

Wat er in dat rijtje ontbreekt en het meeste doet, zijn je interne links. Waar veel naartoe wordt gelinkt, wordt vaker bezocht. Een belangrijke pagina waar alleen vanuit het menu een link naartoe gaat, geeft een ander signaal af dan een pagina waar tien artikelen naar verwijzen.

Wat je server terugstuurt telt mee

Bij elk verzoek geeft je server een code terug. Crawlers doen daar iets mee, dus het loont om te weten wat ze betekenen.

• 200. In orde, hier is de pagina.
• 301. Permanent verhuisd. De crawler neemt het nieuwe adres over en de waarde van de oude pagina gaat mee.
• 302. Tijdelijk verhuisd. Het oude adres blijft in de index. Wordt vaak per ongeluk gebruikt bij een permanente verhuizing.
• 404. Niet gevonden. De crawler blijft het nog een tijd proberen.
• 410. Weg en komt niet terug. Werkt sneller dan een 404 als je iets bewust hebt verwijderd.
• 503. Tijdelijk niet beschikbaar. Dit is de juiste code tijdens onderhoud: de crawler komt later terug zonder je pagina's uit de index te halen.

Die laatste is het waard om te onthouden. Een onderhoudspagina die een 200 teruggeeft, riskeert dat de tekst "we zijn zo terug" in de index belandt.

Wel gecrawld, niet opgenomen

Deze melding geeft de meeste verwarring: hij komt van de indexkant terwijl mensen hem aan de crawler toeschrijven.

Google heeft je pagina opgehaald en daarna besloten hem niet in de index te zetten. Dat is een aparte beslissing, en er is geen instelling die hem terugdraait. De crawler heeft zijn werk gedaan; het oordeel gaat over de inhoud.

Wat je in de praktijk ziet bij die melding: pagina's met weinig eigen tekst, pagina's die sterk op elkaar lijken zoals locatiepagina's waarvan alleen de plaatsnaam verschilt, en pagina's waar vanuit de rest van je site nauwelijks naartoe wordt gelinkt. Bij nieuwe sites komt het ook voor zonder duidelijke reden, waarna de pagina's er na verloop van tijd vanzelf in komen.

Je sitemap opnieuw indienen helpt niet, samenvoegen en beter linken wel. De indexkant van dit verhaal staat uitgewerkt bij indexering door zoekmachines.

Waar crawlers in de praktijk op vastlopen

In volgorde van hoe vaak ik het tegenkom.

• Een vergeten noindex. In WordPress staat onder Instellingen, Lezen een vinkje om zoekmachines te weren. Dat staat aan op de testomgeving en blijft aan na livegang. Verreweg de meest voorkomende oorzaak van een onvindbare site.
• Een firewall die te ruim blokkeert. Een beveiligingsinstelling of een blokkade op een hele adresreeks die ook Googlebot buitensluit. Je merkt er niets van, want jij komt er zelf gewoon op.
• Een trage server. Duurt het te lang, dan haakt de crawler af en komt hij minder vaak terug.
• Inhoud achter een inlog of een formulier. Wat een bezoeker niet zonder inloggen ziet, ziet een crawler ook niet.
• Een bescherming die alle bezoekers eerst controleert. Zet je zo'n scherm aan bij je proxy of je host, controleer dan of bekende crawlers eromheen mogen.

Wat ik zou doen bij een site die niet wordt gevonden

In deze volgorde, want dit kost een kwartier en lost het merendeel van de gevallen op.

1. Kijk in WordPress onder Instellingen, Lezen of het vinkje om zoekmachines te weren uit staat.
2. Open jouwdomein.nl/robots.txt in je browser en lees wat er staat.
3. Bekijk de broncode van een belangrijke pagina en zoek op het woord noindex.
4. Zet het adres in de URL-inspectie van Search Console en lees wat daar over de status staat.
5. Controleer of je sitemap bereikbaar is en of hij is aangemeld.
6. Zoek in je logboek op Googlebot en kijk welke antwoordcode hij kreeg.
7. Kijk of er ergens ter wereld een link naar je site staat.

Pas als dit allemaal klopt, is het zinvol om naar inhoud en concurrentie te kijken. Loop anders eerst de SEO-checklist door.

Wat er de laatste jaren is veranderd

Er is een hele nieuwe categorie bots bijgekomen die niets met de klassieke zoekresultaten te maken heeft. AI-assistenten halen pagina's op om er antwoorden mee te geven, met of zonder bronvermelding. Wie gevonden wil worden heeft er daarmee een tweede publiek bij, en de manier om dat publiek te bereiken is dezelfde: duidelijke tekst die zonder omwegen op te halen is. Zie ook het artikel over zoekmachine-extractie.

Veelgestelde vragen over zoekmachine-spiders

Hoe vaak komt Googlebot langs?

Dat verschilt sterk. Een nieuwssite wordt meerdere keren per dag bezocht, een bedrijfssite die nooit verandert soms eens per week of minder. In Search Console zie je onder Instellingen, Crawlstatistieken precies hoeveel verzoeken je per dag krijgt.

Hoe lang duurt het voordat een nieuwe pagina in Google staat?

Van een paar uur tot een paar weken. Bij een site die vaker wordt bezocht gaat het sneller. Je kunt een pagina in de URL-inspectie handmatig aanmelden, wat de wachttijd meestal verkort. Een garantie is het niet.

Wat is het verschil tussen een crawler, een spider en een bot?

Niets. Het zijn drie namen voor hetzelfde. Bot is het breedste woord, want dat gebruiken we ook voor programma's die niets met zoekmachines te maken hebben.

Blokkeert robots.txt een pagina uit de zoekresultaten?

Nee. Het voorkomt dat de inhoud wordt opgehaald, niet dat het adres verschijnt. Wil je een pagina echt uit de resultaten, gebruik dan een noindex in de pagina zelf en laat de crawler er wel bij.

Kan ik zien welke bots mijn site bezoeken?

Ja, in de logboeken van je webserver. Daar staat bij elk verzoek welke naam de bezoeker opgaf. Bij gedeelde hosting vind je die logboeken in het controlepaneel, meestal onder ruwe logbestanden. In je statistiekenpakket zie je bots niet, want dat filtert ze eruit en werkt bovendien met JavaScript dat de meeste bots niet uitvoeren.

Kost het bezoek van crawlers mij bandbreedte?

Ja, en bij een drukbezochte site kan dat oplopen. Op een gemiddelde bedrijfssite valt het verwaarloosbaar uit. Merk je overlast, dan zit dat vrijwel altijd in crawlers van SEO-pakketten of scrapers, niet in Googlebot.

Wat is crawlbudget en heb ik daar last van?

Het is de hoeveelheid pagina's die een zoekmachine per dag bij jou ophaalt. Bij minder dan een paar duizend adressen speelt het niet; het gaat pas tellen bij grote sites, webshops met veel filteradressen en trage servers.

Lezen crawlers ook afbeeldingen en video?

Ze halen ze op, maar ze lezen ze niet zoals tekst. Wat een afbeelding voorstelt leiden ze af uit de bestandsnaam, de alt-tekst en de tekst eromheen. Voor video geldt hetzelfde: een transcript of begeleidende tekst doet het werk.

Moet ik AI-crawlers blokkeren?

Alleen als je echt niet wilt dat je teksten in taalmodellen terechtkomen. Bedenk dat je daarmee ook uit de antwoorden van AI-assistenten verdwijnt. Er zijn losse namen voor training en voor het live ophalen van een antwoord, dus je kunt de eerste weren en de tweede toelaten.

Waarom staat mijn pagina wel in Search Console maar niet in Google?

Dan is hij gecrawld en niet opgenomen. Dat is een oordeel over de inhoud, meestal omdat de pagina te dun is, te veel op een andere lijkt of nergens vandaan gelinkt wordt. Een instelling lost dat niet op.

Kan ik zien of Googlebot een foutmelding krijgt op mijn site?

Ja, op twee plekken. In Search Console onder Crawlstatistieken staan de codes die je server teruggaf, en in je serverlogboek zie je het per verzoek. Dat tweede is preciezer en laat ook zien of een firewall de crawler weigerde.

Wat doe ik als mijn site tijdelijk offline moet?

Laat je server een 503 teruggeven met een indicatie wanneer je terug bent. Dan begrijpt de crawler dat het tijdelijk is en blijven je pagina's in de index. Een gewone onderhoudspagina met code 200 is de verkeerde manier.

Zijn er crawlers die zich niet aan robots.txt houden?

Zeker. Het bestand is een verzoek, geen slot. Nette partijen houden zich eraan, scrapers en aanvalsscripts niet. Die weer je aan de serverkant, met een firewall of een beveiligingsdienst.