Zo gebruikt Google crawlers om jouw website te indexeren

Zo gebruikt Google crawlers om jouw website te indexeren

Google heeft als doel het internet in kaart te brengen.

 

Zij maken hiervoor gebruik van speciale crawlers.

 

De crawlers gaan van webpagina naar webpagina…

 

… maar kunnen niet altijd iedere pagina indexeren.

 

In dit artikel lees je hoe de crawlers van Google jouw website bekijken.

Het gebruik van crawlers door Google

Om snel het web in kaart te kunnen brengen is het van belang dat Google met hoge snelheid van webpagina naar webpagina kan gaan. Iedere webpagina moet zorgvuldig worden bekeken om bijvoorbeeld uit te zoeken wat voor soorten media er op deze webpagina staan.

 

De eerste keer dat een crawler op de webpagina komt moet deze een screen maken van wat er op de pagina staat. Dit is de snelste manier voor Google om uit te zoeken waar een webpagina over gaat en hoe deze in de index van de zoekmachine zal moeten worden opgenomen.

 

Het is natuurlijk te veel werk om iedere pagina handmatig te bekijken en uit te zoeken waar deze pagina’s over gaan. Een mens doet er dan enkele minuten over om het hoofdonderwerp van de webpagina te bekijken, uit te zoeken hoe de webpagina in elkaar zit en hoe alles bij elkaar aansluit. En dan is het nog van belang dat deze iedere verwijzing naar een andere webpagina op de eerste webpagina opent en bekijkt.

 

Dankzij crawlers kan Google dit proces flink versnellen en hoeft er vrijwel nooit handmatig te worden ingegrepen. De indexatie van het internet wordt sneller uitgevoerd en de crawlers kunnen in korte tijd miljoenen pagina’s bezoeken en versturen naar de index van Google. Het is goedkoop, snel en bovendien ontzettend effectief.

Hier let een Google crawler op

De crawler komt op de webpagina en gaat direct door alle code die op de pagina staat. De meeste code kan door de crawler worden begrepen, zoals HTML en CSS. Code zoals Flash was lange tijd niet door de crawler te begrijpen, maar wordt tegenwoordig ook door Google geïndexeerd. Bestanden in Silverlight worden echter niet goed geïndexeerd. Daarom worden websites waar Silverlight of video wordt ingezet gedeeltelijk niet door Google geïndexeerd.

 

De technologie van Google wordt steeds beter en de crawlers kunnen meer informatie van webpagina’s begrijpen. Zo kan Google tegenwoordig tekst die in afbeeldingen is opgenomen scannen. De crawlers houden dus ook rekening met afbeeldingen die op de webpagina staan. Zo kan Google via Optical Character Recognition tekst die als afbeelding in PDF-bestanden is opgenomen lezen als normale tekst.

 

Het is voor Google belangrijk dat er een duidelijk beeld van de webpagina wordt gemaakt. Zij willen de webpagina in de index opnemen om te zorgen dat Google-gebruikers die naar deze pagina zoeken ook hier komen. Dit is de reden dat de crawlers op specifieke factoren letten wanneer zij een pagina scannen. Dit worden de SEO-factoren genoemd.

Tekst en HTML op de webpagina

Bij een scan kijkt de crawler naar de tekst die op de pagina staat en welke HTML rond deze tekst wordt gebruikt. De titel van een webpagina wordt tussen title-tags gezet. De crawler kan dus direct zien wat de titel van de pagina is en let hierbij op woorden die in de titel voorkomen. Dit helpt Google om te begrijpen waar de pagina over gaat.

 

Een pagina waar <title>Blauwe paraplu</title> wordt gebruikt gaat over een blauwe paraplu. Er wordt hier niet alleen gekeken naar de title-tags, maar ook naar de heading-tags. Dit zijn de tags die worden toegepast om tussenkoppen boven alinea’s te plaatsen. De h1-tag wordt gebruikt om de meest belangrijke tussenkop te maken en de h2-tag geeft de belangrijke tussenkoppen die hier weer onder vallen weer. De grootte van het lettertype op de webpagina verschilt vaak bij h1 en h2.

 

Tekst die is opgenomen in p-tags wordt als alinea gezien. De p staat voor paragraph (paragraaf of alinea).

Links naar andere webpagina’s

Een andere tag die door Google kan worden gelezen is de link-tag; een verwijzing naar een andere webpagina. Dit kan een webpagina op dezelfde website zijn, maar ook een webpagina op een externe website.

 

Deze links zijn de reden dat Google het internet snel in kaart kan brengen. Het internet is een web van verwijzingen tussen webpagina’s. Websites verwijzen naar andere pagina’s op de eigen site en externe sites, en de crawlers van Google kunnen iedere verwijzing volgen. En als zij bij de volgende webpagina aankomen worden weer alle verwijzingen bekeken.

 

Dit gaat met een gigantische snelheid en resulteert er al snel in dat de crawlers in seconden duizenden webpagina’s kunnen bekijken en insturen naar de index van Google. Iedere verwijzing helpt weer om een beter beeld van het totale internet te krijgen en om te zorgen dat er meer webpagina’s aan de index van Google worden toegevoegd. Het is voor Google dus van groot belang dat iedere verwijzing op de webpagina kan worden geopend en gelezen.

Zo verbinden crawlers met SEO

Om hoog in Google te scoren moet je ervoor zorgen dat je voldoet aan factoren waar Google rekening mee houdt binnen hun eigen zoekresultaten, de zogeheten SEO-factoren. De reden dat de crawlers bijvoorbeeld naar de title-tag kijken, is omdat hier vaak een specifiek woord in wordt verwerkt. In het eerdere voorbeeld van de blauwe paraplu ziet Google deze term als een hoofdterm.

 

Als de crawler van Google de term ‘blauwe paraplu’ ook tegenkomt in een h1- en h2-tag op de pagina dan maakt dit de verbinding tussen deze term en de webpagina nog sterker. Komt de term vervolgens ook nog meerdere keren in de paragrafen (p-tags) voor dan begrijpt de index van Google steeds beter dat deze pagina over een blauwe paraplu gaat. Het gevolg is dat deze webpagina opgenomen wordt in de zoekresultaten bij de zoekterm ‘blauwe paraplu’.

 

Hyperlinks tellen ook mee

En daar blijft het niet bij. Want de verwijzingen naar de pagina over de blauwe paraplu hebben ook nog invloed op de manier waarop Google de pagina bekijkt. Als andere webpagina’s op dezelfde en externe websites naar deze pagina verwijzen en als tekst voor de hyperlink ‘blauwe paraplu’ gebruiken dan snapt Google steeds beter dat deze pagina over een blauwe paraplu gaat en dat deze dus een vermelding in de zoekresultaten van blauwe paraplu moet krijgen.

Laat crawlers toe op jouw website

Om in de zoekresultaten van Google opgenomen te worden is het van belang dat de crawlers van Google toegang kunnen krijgen tot jouw website. Bovendien moeten zij ook alle informatie op jouw website kunnen lezen, omdat dit de enige manier is waarop zij de webpagina goed in de zoekresultaten kunnen opnemen.

 

In principe is iedere website standaard al open voor de crawlers van Google. Je kunt er echter via robots.txt (een speciaal bestand op jouw website) voor zorgen dat de crawlers van Google geblokkeerd worden. Dit zorgt ervoor dat de crawlers de pagina niet kunnen bezoeken en dat Google de webpagina dus ook niet opneemt in de zoekresultaten.

 

Het is natuurlijk ook van belang dat je geen Silverlightop jouw website gebruikt voor onderdelen die je graag in de zoekresultaten van Google wilt laten opnemen. Als jij een uitgebreide handleiding over marketing schrijft, maar deze vervolgens via een Silverlight-applicatie op de website zet, dan is het voor Google onmogelijk om deze handleiding in de zoekresultaten op te nemen. Niemand zal de handleiding via Google vinden omdat deze nergens wordt genoemd.

Zo laat je Google jouw website crawlen

Omdat je graag zo snel mogelijk bezoekers vanuit Google op jouw website wilt ontvangen is het van belang om de Google-crawlers naar jouw website te trekken. Je kunt dit op meerdere manieren doen.

  • Verwijzing van een andere website

    Zoals eerder in dit artikel al wordt aangegeven komen crawlers vaak via verwijzingen vanaf andere webpagina’s op nieuwe webpagina’s. Om te zorgen dat de crawlers van Google jouw website bezoeken moet je er dus voor zorgen dat er ergens een verwijzing staat. Deze verwijzing moet ook regelmatig door Google worden bekeken, omdat het anders weken kan duren voordat de crawler vanaf deze webpagina via de verwijzing op jouw website komt.

     

    Voor een nieuwe website of webpagina is het daarom van belang om een verwijzing op een veel bezochte website te plaatsen. Denk hierbij bijvoorbeeld aan websites waar jij interessante content kunt delen, zoals Reddit of LinkedIn. Omdat de crawlers deze websites dagelijks miljoenen keren bekijken is de kans groot dat zij jouw website ergens oppikken en vervolgens meenemen in de index van Google.

     

    Dit houdt echter niet in dat je overal op externe websites nieuwe verwijzingen naar jouw website moet maken. Het is vaak voldoende om één verwijzing aan te maken op een website die veel wordt bezocht, omdat de crawlers van Google de pagina dan vanzelf tegenkomen en aan de index toevoegen.

  • Laten indexeren door Google

    Je kunt zelf ook een aanvraag doen om de website door Google te laten indexeren. Je gebruikt hier Webmaster Tools van Google voor. Via deze tool laat jij de crawlers van Google de gewenste webpagina en de verwijzingen op deze webpagina bezoeken. Je kunt de pagina vervolgens ook direct laten toevoegen aan de index van Google.

     

    Je moet je eerst aanmelden bij Webmaster Tools. Je gebruikt hiervoor een Google-account. Het is ook van belang dat je de betreffende website eerst hebt geverifieerd. Volg hierna de volgende stappen op om de website te laten crawlen en aan de index van Google toe te voegen.

     

    1. Ga in Webmaster Tools naar het dashboard van de website
    2. Klik in de linker zijbalk op ‘Crawlen’
    3. Klik nu op ‘Fetchen als Google’
    4. In het volgende scherm vul jij de gewenste webpagina in
    5. Klik op ‘ophalen’ om een crawler van Google naar de webpagina te sturen
    6. De crawler haalt de webpagina op en voegt deze toe aan de rij onderaan de pagina
    7. Je kunt nu op ‘Indienen bij index’ klikken om te zorgen dat Google de pagina aan de index toevoegt.
    8. Binnen korte tijd is de webpagina vindbaar in Google en kunnen anderen de webpagina dus ook vinden.

Heb je vragen over Google crawlers?

Plaats een reactie met jouw vraag onder dit artikel en wij zullen deze graag beantwoorden.

 

Heb je aanvullende tips of informatie over de crawlers van Google? Laat het dan in de reacties weten.

Online marketing tips die jou helpen groeien

Online marketing tips die jou helpen groeien

Schrijf je in voor onze nieuwsbrief en ontvang iedere week tips die helpen om meer leads te genereren en klanten aan te trekken.

Je ontvangt iedere week nieuwe tips