Hoe lang duurt indexeren in Google? Dit zijn de wachttijden die Google zelf deelde

"Hoe lang duurt het voordat Google dat oppikt?" Die vraag krijg ik bijna elke week. Na een nieuwe title, na een verhuizing naar een ander domein, na een dip door een core update. Tot nu toe was mijn antwoord altijd een mengsel van ervaring en wat Googlers hier en daar losjes hadden gezegd.

Vorige week liet Gary Illyes van Google op Search Central Live Deep Dive in Barcelona voor het eerst intern gemeten doorlooptijden zien, voor 23 processen in crawlen, indexeren en tonen. John Campbell van We Are Roast noemde het in zijn verslag het hoogtepunt van de dag, Barry Schwartz zette de cijfers op Search Engine Roundtable en Chris Long van Nectiv deelde ze op X met "Holy moly SEOs!!" (292 likes binnen een paar uur).

Ik heb de tabellen vertaald, er een calculator onder gezet die uitrekent wanneer jouw wijziging zichtbaar zou moeten zijn, en de reacties van andere SEO's erbij gepakt. Een paar daarvan voegen best wel iets toe.

Hoe lang duurt het voordat Google een nieuwe pagina indexeert?

Een nieuwe URL wordt volgens de cijfers van Google meestal binnen zo'n 20 uur ontdekt. Is de pagina eenmaal gecrawld, dan is het indexeren meestal binnen 1,5 uur rond. Staat de pagina in je sitemap, dan verwerkt Google die sitemap meestal binnen 24 uur. Reken voor een nieuwe pagina dus op ongeveer een dag.

De langzaamste uitkomst is minder prettig: weken, of nooit. Dat "nooit" heeft bijna altijd met kwaliteit te maken. Vindt Google een pagina de moeite niet waard, dan helpt geen enkele technische ingreep.

Gary zette er zelf een kanttekening bij. Toen Barry de cijfers online zette, reageerde hij dat het een oefening was om te kijken of de zaal zich in de interne cijfers herkende. Het zijn dus gemiddelden uit Google's eigen analyse en geen beloftes voor jouw site.

Hoe lang duurt crawlen in Google?

Crawlen is de stap waarin Googlebot je pagina's ophaalt. Dit zijn de zes crawlprocessen uit de presentatie, met de gebruikelijke en de langzaamste doorlooptijd.

Wat opvalt: robots.txt is het enige proces waarbij de langzaamste uitkomst maar een uur van de gebruikelijke afligt. Een wijziging daarin staat dus vrijwel altijd binnen een dag live bij Google, ook als je per ongeluk iets blokkeert.

De crawlcapaciteit is hoeveel Google tegelijk van je server durft op te halen. Die kan volgens Gary in seconden omlaag als je server het zwaar heeft, terwijl het herstel weken duurt. Daar kom ik verderop nog op terug, want een van de reacties op X gaat precies daarover.

Hoe lang duurt indexeren in Google?

Bij indexeren verwerkt Google wat het heeft opgehaald: renderen, links en meta-tags uitlezen, de canonieke versie kiezen. Dit zijn de tien indexeringsprocessen.

"Van begin tot eind" betekent dat alle belangrijke stappen goed zijn afgerond. Een kleine site kan volgens Gary in een paar weken verhuisd zijn, het gemiddelde van 1 tot 3 maanden geldt voor de gewone gevallen. Plan bij een SEO-migratie dus minimaal drie maanden nazorg in, dan zit je aan de bovenkant van het gemiddelde.

Hoe lang duurt het voordat een wijziging zichtbaar is in de zoekresultaten?

De laatste stap is serving: wat Google daadwerkelijk laat zien. Hier vallen ook het herstel na updates en handmatige acties onder.

Een core update is volgens Google zelf in 2 tot 4 weken uitgerold, een spamupdate in 1 tot 2 dagen. Het herstel duurt dus vele malen langer dan de update zelf.

Reken uit wanneer je wijziging in Google zou moeten staan

Kies wat je hebt veranderd en wanneer. De calculator gebruikt de cijfers van Google en telt bij wijzigingen aan een bestaande pagina de wachttijd voor een nieuw bezoek van Googlebot erbij op, tenzij je zelf een indexeringsverzoek hebt gedaan.

Waarom een kleine wijziging toch een maand kan duren

De belangrijkste opmerking van Gary stond niet in de tabellen: de processen hangen aan elkaar vast. Een pagina kan pas geïndexeerd worden als hij gecrawld is, dus de vertragingen tellen bij elkaar op.

Neem een nieuwe title. In de tabel staat dat Google die in 1 tot 2 dagen bijwerkt. Alleen begint die klok pas als Googlebot de pagina opnieuw heeft opgehaald, en een bekende URL bezoekt Google meestal eens per 30 dagen. Tel je die twee op, dan zit je bij een gemiddelde pagina die je met rust laat op 1 tot 32 dagen. Dat verklaart meteen waarom de ene klant zijn nieuwe title de volgende dag ziet en de andere na drie weken nog belt.

Die wachttijd kun je wel overslaan. Met URL-inspectie in Search Console vraag je Google om een pagina opnieuw te crawlen. Google zegt er in de eigen documentatie geen termijn bij. Je hoeft in elk geval niet op de volgende ronde te wachten. Voor een handvol belangrijke pagina's doe ik dat altijd. Voor honderden URL's is een bijgewerkte sitemap handiger.

Waar "nooit" in de tabellen staat

Ik heb geteld.

In 5 van de 23 processen staat "nooit" als langzaamste uitkomst: een nieuwe URL ontdekken, een bekende URL opnieuw bezoeken, een sitemap verwerken, een pagina indexeren en gestructureerde data bijwerken. Bij drie daarvan schrijft Google er letterlijk "kwaliteit" achter, en de andere twee zijn de crawlstappen die daaraan voorafgaan.

Bij de serving-processen staat nergens "nooit". Wat eenmaal in de index zit, wordt dus altijd een keer bijgewerkt. Het risico zit aan de voorkant: of Google je pagina überhaupt de moeite waard vindt. John Campbell trok in zijn verslag dezelfde conclusie, snelle technische fixes helpen niet als Google de pagina niet waardevol vindt.

Voor wie een site met duizenden dunne pagina's heeft, is dit de belangrijkste regel uit de hele presentatie. Een sitemap met 10.000 URL's die Google niet wil hebben, levert na 14 dagen precies hetzelfde op als na 14 maanden.

Wat je kunt versnellen en wat niet

Een paar processen kun je zelf een duw geven. Bij andere kun je alleen wachten, en dan is het goed om te weten hoe lang.

Het verschil bij verwijderen is groot. Twee uur tegenover één tot drie weken, dat is zo'n 80 tot 250 keer sneller. Let wel op: de verwijdertool haalt een URL volgens Google's eigen uitleg maar ongeveer zes maanden uit de resultaten. Zet de pagina daarnaast dus altijd op noindex of haal hem echt weg.

Hoe lang duurt het voordat een backlink meetelt?

Voor ons als linkbuildingbureau zat de interessantste regel in de indexeringstabel: links verwerken duurt meestal van een paar minuten tot 1 à 3 weken, en in het langzaamste geval maanden.

Ook hier telt de wachttijd van het crawlen mee. Een link in een nieuw artikel wordt opgepikt zodra Google dat artikel ontdekt, meestal binnen een dag. Een link die achteraf in een bestaand artikel wordt gezet, telt pas als Google dat artikel opnieuw bezoekt, en dat is gemiddeld eens per 30 dagen. Een oud artikel op een site met weinig bezoek kan nog langer op zich laten wachten.

Beoordeel het effect van linkbuilding daarom niet in de eerste maand na plaatsing. Tel de tijd voor het crawlen en de 1 à 3 weken voor het verwerken bij elkaar op, en je zit al snel op vier tot zes weken voordat een link überhaupt kan meetellen.

Een lezer van Search Engine Roundtable vroeg onder het artikel naar het disavow-bestand, dat in de tabellen ontbreekt. Barry wist niet of Gary het had genoemd. Google zegt er zelf in de helppagina over dat het een paar weken kan duren, omdat Google de linkende pagina's eerst opnieuw moet crawlen. Hetzelfde mechanisme dus.

Wat de reacties van andere SEO's eraan toevoegen

De reacties onder het artikel van Barry en onder de post van Chris Long gaan verder dan "interessant!". Drie ervan vond ik de moeite waard.

Bree Sharp legde op X de link tussen twee regels uit de crawltabel: "Crawl capacity can drop in seconds, and the slowest recovery on that table is 1 to 3 weeks." Eén middag met 5xx-fouten, of een firewallregel die Googlebot verdacht vindt, kan je volgens haar weken aan crawlen kosten. Beveiligingsplugins en botfilters die na een update ineens strenger staan afgesteld, zijn daar een bekende oorzaak van. Google bevestigt het mechanisme in de documentatie over crawlsnelheid: krijgt Googlebot veel 500-, 503- of 429-antwoorden, dan gaat het crawlen voor de hele hostnaam omlaag. Google raadt af om dat langer dan 1 à 2 dagen te laten duren.

Rajesh Kumar wees onder het artikel op nieuwssites in India. Die worden volgens hem continu gecrawld en staan binnen 30 tot 60 minuten in de resultaten. Dat past bij het gemiddelde van anderhalf uur voor indexeren, maar het laat ook zien dat de gemiddelden per soort site flink uiteenlopen. Een nieuwssite die tien keer per uur publiceert, heeft een heel andere crawlvraag dan een MKB-site die eens per maand een blog plaatst.

Pradhumnya Khanayat schreef dat SEO's dit dagelijks ervaren, maar dat de tabel handig is om naar het development-team te sturen. Daar ben ik het helemaal mee eens. De meeste discussies over "waarom staat het er nog niet in" zijn eigenlijk discussies over verwachtingen.

Wanneer je pas moet gaan kijken

Mijn advies: zet bij elke wijziging een datum in de planning waarop je pas gaat kijken. Een nieuwe title na een paar dagen, een canonical na drie weken, een technische herstructurering na een maand, een domeinverhuizing na drie maanden. Gaan we eerder kijken, dan meten we vooral ruis.

En bij een daling na een core update weet je nu waar je aan toe bent. Herstel duurt volgens Google zelf meestal drie tot zes maanden, en het volgende moment waarop het kan veranderen is vaak pas de volgende core update. Twijfel je of jouw site ergens vastloopt in crawlen of indexeren, dan kijken we met een SEO-audit waar het blijft hangen.