Wat is een robots.txt?

Een robots.txt bestand is een tekstbestand dat wordt geplaatst in de root of hoofdmap van een website, zodat crawlers jouw pagina’s indexeren.

Wat zijn robots.txt?

Bots of crawlers van zoekmachines maken gebruik van jouw bestand om jouw website en bijbehorende pagina’s te indexeren. Ze zijn gemakkelijk te maken door gebruik te maken van generators, zoals SEObook en SEOptimer. Ook kent WordPress Yoast en Rank Math plugins om ze gemakkelijk te creëren. Tot slot kun je er ook voor kiezen om ze handmatig te maken op je PC.

Het is niet verplicht om het in de backend van jouw website te hebben, maar vergemakkelijkt de zoektocht voor zoekmachines wel. Waarom is het dan belangrijk?

Belang van robots.txt bestand

Naast dat het bestand aangeeft welke pagina’s aanwezig zijn op een website, geeft het bestand ook aan welke pagina wel en welke pagina’s niet dienen te worden geïndexeerd. Bots en crawlers houden in de meeste gevallen rekening met jouw geplaatste robots.txt bestand. Echter, analyseren zoekmachinebots altijd of het bestand overeenkomt met de daadwerkelijke structuur op de website. Wanneer een website geen robots.txt bestand bevat zal de zoekmachine alle beschikbare pagina’s indexeren. Zoals eerder genoemd kan hierin worden aangeven als bots of crawlers bepaalde pagina’s niet hoeven te indexeren. Denk hierbij aan een website die in de test fase zit of andere pagina’s die niet voor websitebezoeker geschikt zijn.

Dus vanwege de directe link met de crawlers van zoekmachines, is het belangrijk voor SEO.

Voordelen

Gebruik maken van robots txt levert meerdere voordelen voor je website op. Deze voordelen zijn:

• Je servers worden minder belast door verzoeken van crawlers
• Helpt met het besparen van je crawl budget
• Belangrijk voor je technische site audit