|
|
Voor het vinden en indexeren van web pagina’s maken zoekmachines gebruik van zogeheten webcrawlers. Dit zijn kleine programma’s welke automatisch op zoek gaan naar websites en de content van deze opslaan in een database. De webcrawler van Google heet Googlebot en iedere webmaster zal in zijn of haar logs de activiteit van deze bot terugzien.
Nu zijn er manieren om een website of delen daarvan af te schermen van webcrawlers als Googlebot. Dit is echter tegen de regels en kan een berisping opleveren, wat resulteert in een lagere rangschikking in de zoekresultaten voor relevante zoekwoorden. In het robots.txt bestand kunt u als webmaster aangeven welke pagina’s wel en niet bekeken mogen worden door een webcrawler.
Nu komt het veelvuldig voor dat webmasters toegang tot .css en .js bestanden versleutelen voor Googlebot en dat is nu net de bedoeling. Google is daarom begonnen met het benaderen van webmasters om hen op de hoogte te stellen van de nadelige gevolgen als zij de toegang tot deze bestanden blijven blokkeren. Dit doet het internetgigant door een automatische e-mail te sturen vanuit de Google Search Console.
Indien u als webmaster deze mail ook heeft ontvangen, dan doet u er goed aan om maatregelen te treffen. Het vrijgeven van deze bestanden kan door het toevoegen van de volgende drie regels aan het robots.txt bestand:
User-Agent: *
Allow: .js
Allow: .css
De reden waarom deze bestanden tegenwoordig ook verplicht vrijgegeven moeten worden, heeft te maken met de manier waarom Googlebot informatie interpreteert. Vandaag de dag is dat namelijk niet veel verschillend als de manier waarop wij als mensen websites interpreteren. De uitgebreide algoritmes van Googlebot maken het mogelijk voor Google om websites op meerdere punten te beoordelen.