Naar de inhoud

Japon Sakura

Actualité

Hoe verken je een website efficiënt met behulp van de sitemap?

Een sitemap vermeldt de URL’s van een domein in een gestructureerd bestand, meestal in XML-formaat. Een website verkennen vanaf…

Femme analysant un plan de site web imprimé sur un bureau en open space, explorant la hiérarchie de navigation d'un site internet

Een sitemap vermeldt de URL’s van een domein in een gestructureerd bestand, meestal in XML-formaat. Door een website aan de hand van dit bestand te verkennen, kun je de inhoud snel in kaart brengen. Een sitemap bevat echter niet altijd alle gepubliceerde pagina’s.

Google geeft aan dat een sitemap helpt om URL’s onder de aandacht te brengen, maar niet garandeert dat ze worden gecrawld of geïndexeerd. Door het verschil te meten tussen de URL’s in de sitemap, de pagina’s waarnaar interne links verwijzen en de pagina’s die zoekmachines daadwerkelijk indexeren, krijg je een veel betrouwbaarder beeld van de staat van een website.

XML-sitemap, interne links en Google-index: drie bronnen, drie visies op de website

Elke gegevensbron bestrijkt een ander gebied. Door die gebieden met elkaar te vergelijken, ontdek je blinde vlekken die je bij een crawl op basis van alleen de sitemap niet zou vinden.

Bron Wat deze in kaart brengt Belangrijkste beperking
XML-sitemap De URL’s die de website-eigenaar opgeeft Kan bestaande pagina’s weglaten of verouderde URL’s bevatten
Interne links (crawl) Pagina’s waarnaar daadwerkelijk wordt gelinkt vanaf andere pagina’s op de website Detecteert geen verweesde URL’s (zonder inkomende link)
Google-index (Search Console) URL’s die door Googlebot zijn gecrawld en/of geïndexeerd Een URL in de sitemap kan ongeïndexeerd blijven

Deze drie inventarissen combineren is de enige betrouwbare manier om verweesde pagina’s, spook-URL’s en inhoud die onzichtbaar is voor zoekmachines op te sporen. Een auditcrawler doorloopt de website door links te volgen, terwijl Search Console laat zien hoe Google elke URL behandelt.

Op de sitemap van All News wordt bijvoorbeeld elke rubriek vermeld met de bijbehorende URL en datum van de laatste wijziging. Zo kun je snel controleren of de redactionele inhoud van het domein volledig is opgenomen.

Man staat voor een scherm waarop een gestructureerde sitemap met navigatieknooppunten wordt weergegeven in een thuiskantoor

Verweesde pagina’s: hoe de sitemap vergeten URL’s aan het licht brengt

Een verweesde pagina is een URL die op de server bestaat, maar waarnaar geen enkele interne link verwijst. De pagina is bereikbaar via het rechtstreekse adres en staat soms in de sitemap, maar bezoekers die normaal door de website navigeren, zullen haar nooit vinden.

Verweesde pagina’s opsporen in drie stappen

  • Haal de volledige lijst met URL’s uit de XML-sitemap (met een parser of een crawltool zoals Screaming Frog, Sitebulb of een eenvoudig Python-script)
  • Crawl de website vanaf de homepage en verzamel alle URL’s die via interne links bereikbaar zijn
  • Vergelijk de twee lijsten: elke URL die wel in de sitemap staat maar niet in de crawl voorkomt, is mogelijk verweesd. Elke gecrawlde URL die niet in de sitemap staat, is niet opgenomen

Ook de omgekeerde situatie is veelzeggend. Een pagina met veel interne links die niet in de sitemap staat, kan over het hoofd worden gezien bij een audit die alleen het XML-bestand controleert. Beide verschillen wijzen op een architectuurprobleem dat het crawlen door zoekmachines én het navigeren door gebruikers bemoeilijkt.

Veelvoorkomend geval: URL-varianten

Dubbele pagina’s ontstaan vaak wanneer de sitemap één versie vermeldt (met of zonder afsluitende slash, HTTP of HTTPS, met of zonder parameter). Door de URL’s in de sitemap te vergelijken met die van de interne links, kun je deze varianten opsporen voordat ze het crawlbudget versnipperen.

De lastmod-tag in de sitemap: nuttig signaal of overbodige ruis

De tag lastmod geeft de datum van de laatste betekenisvolle wijziging van een pagina aan. Google raadt aan deze datum alleen bij te werken na een echte inhoudelijke wijziging, niet na een automatische update (zoals het opnieuw genereren van de cache of een cosmetische aanpassing aan de template).

Bing gebruikt deze datum ook als versheidssignaal. De tags changefreq en priority worden daarentegen door geen van beide zoekmachines meegenomen. Deze velden invullen levert dus niets op voor het crawlen of de vindbaarheid.

Een sitemap waarin alle lastmod-datums identiek zijn (een typisch geval bij een verkeerd geconfigureerd CMS), verliest zijn waarde als signaal. De zoekmachine kan dan geen onderscheid maken tussen een artikel dat gisteren is bijgewerkt en een pagina die al twee jaar ongewijzigd is. Voor een uitgever van content geldt: door de lastmod-datums actueel te houden, worden gewijzigde pagina’s sneller opnieuw ontdekt.

Twee collega’s verkennen samen een sitemaptool op een laptop in een modern stadscafé

Een website crawlen als de sitemap onvolledig of afwezig is

Niet elke website heeft een sitemap. En websites die er wel een hebben, vermelden niet altijd al hun pagina’s. In dat geval moet je andere methoden gebruiken om de website te verkennen.

  • Crawl de volledige website vanaf de homepage en volg alle interne links, ook die in de footer, het menu en de paginering
  • Voer in Google de zoekopdracht site:domein.nl uit om de al geïndexeerde pagina’s te vinden en vergelijk de resultaten vervolgens met de crawl
  • Raadpleeg Search Console (het rapport ‘Pagina’s’) om URL’s te vinden die wel zijn ontdekt maar niet geïndexeerd, of die wel zijn geïndexeerd maar niet in de sitemap staan
  • Controleer mogelijke URL’s handmatig via de adresbalk (pagina’s met juridische informatie, algemene voorwaarden en oude landingspagina’s die vaak niet meer via de navigatie bereikbaar zijn)

Een auditcrawler brengt de gevonden pagina’s, hun responscodes en hun uitgaande links in kaart. Search Console laat zien hoe Google een URL daadwerkelijk behandelt en biedt daarmee een ander perspectief: een pagina kan zijn gecrawld zonder te worden geïndexeerd, of eerst worden geïndexeerd en later weer worden verwijderd.

IndexNow en sitemap: twee aanvullende mechanismen voor Bing

Microsoft maakt een duidelijk onderscheid tussen de sitemap, die dient als permanente inventaris van URL’s, en IndexNow, dat een nieuwe URL, wijziging of verwijdering direct doorgeeft. Een ontvangstbevestiging van IndexNow bevestigt de melding, niet de indexering.

Voor een nieuwssite die dagelijks meerdere artikelen publiceert, vullen een bijgewerkte sitemap en IndexNow-pings elkaar aan: de zoekmachine beschikt over een volledige inventaris en ontvangt voor elk nieuw artikel direct een signaal. Bij Google is het vergelijkbare mechanisme het indienen van de sitemap via Search Console en het standaard pingprotocol.

Een website verkennen aan de hand van de sitemap wordt betrouwbaarder zodra je de sitemap niet langer als enige bron beschouwt. Door het XML-bestand systematisch te vergelijken met de interne linkstructuur en indexeringsgegevens, verander je een eenvoudige URL-inventaris in een volwaardige diagnose van de online zichtbaarheid.

Hoe verken je een website efficiënt met behulp van de sitemap?