Wat is het verschil tussen crawlen en indexeren?

Het verschil tussen crawlen en indexeren is dat crawlen het doorzoeken van een website is en bij indexeren de informatie wordt geordend.

Wat is het verschil tussen crawlen en indexeren?

Het verschil tussen crawlen en indexeren is dat crawlen gaat om het doorzoeken van websites waarbij het verzamelen van  informatie centraal staat. Vervolgens gaat het bij het indexeren om het ordenen van de verzamelde informatie. Het proces van zoekmachines bestaat uit een drietal stappen, waarbij de eerste stap crawlen is en de tweede stap indexeren die wordt gevolgd door het ranken (de derde stap). Het indexeren is dus een vervolgstap op het crawlen van een website.

Om het verschil duidelijk te maken, zullen we zowel het crawlen als het indexeren nader toelichten.

Wat is crawlen?

Crawlen is het doorzoeken van websites om hier vervolgens zoveel mogelijk informatie uit te kunnen halen. Robots, of webcrawlers, gaan op zoek naar nieuwe content en gaan het hele wereldwijde web bij langs. Dit doen de webcrawlers door middel van bijvoorbeeld interne links of via een XML sitemap. Het algoritme bepaalt welke websites worden doorzocht, hoe vaak dit gebeurt en hoeveel pagina’s er worden bekeken.

Hier vind je meer informatie over crawlen.

Wat is indexeren?

Op het moment dat webcrawlers websites gaan doorzoeken en content hiervan verzamelen, wordt deze content vervolgens tijdens het indexeren gearchiveerd en geordend. Dit houdt in dat er een kopie komt van de pagina en dat de zoekindex van Google deze vervolgens opslaat. In deze zoekindex worden alle kopies van gecrawlde pagina’s opgeslagen. De zoekindex kan je dan ook zien als een grote database. Indexeren zorgt dus voor het toevoegen van informatie op webpagina’s aan zoekmachines.