Zo werkt het
Crawlbaarheid is de mogelijkheid om een bron te ontdekken en op te vragen. Gewone links met href, een bereikbare server en passende robotsregels vormen de basis. Rendering is een volgende stap: een crawler kan HTML downloaden maar de hoofdinhoud missen als die afhankelijk is van een onbetrouwbaar script of ingesloten document.
Een realistisch voorbeeld
Een begrippenindex die kaarten alleen via JavaScript klikbaar maakt, kan voor muisgebruikers werken maar weinig gewone links tonen. Geef ieder begrip een echte link naar de canonieke taal-URL. Scripts mogen filters verbeteren, maar het onderliggende pad moet ook zonder die verbetering vindbaar en bruikbaar blijven.
Wat u kunt controleren
Volg links vanaf de homepage naar de index en vervolgens naar een begrip. Controleer omleidingen, antwoordcodes en robotsregels bij iedere stap. Inspecteer de oorspronkelijke HTML op hoofdinhoud en links en vergelijk die met de weergegeven pagina. Een sitemap helpt bij ontdekking, maar hoort niet de enige toegang tot belangrijke pagina’s te zijn.
Beperkingen en vervolgstappen
Los geringe inhoudskwaliteit niet op met meer crawlbare duplicaten. Gebruik één stabiele URL per taalversie, verbind verwante begrippen gericht en geef echte foutstatussen voor ontbrekende pagina’s. Beoordeel crawling apart van indexering: succesvol ophalen betekent niet dat de zoekmachine de pagina heeft geselecteerd.