Det meste af vores søgeindeks opbygges ved hjælp af software, der kaldes crawlere. Crawlerne ser på offentligt tilgængelige websider og følger links på disse sider, ligesom du ville gøre, hvis du skulle gennemse indhold på internettet. De går fra side til side og lagrer oplysninger om, hvad de finder på disse sider og andet offentligt tilgængeligt indhold i Googles søgeindeks.

Når crawlerne finder en webside, gengiver vores systemer indholdet af siden, på samme måde som en browser gør. De noterer vigtige elementer – fra søgeord til opdateringen af websitet – og vi holder styr på det hele i søgeindekset.

Googles søgeindeks indeholder flere hundrede milliarder websider og har en størrelse på mere end 100.000.000 gigabytes. Det svarer til indekset til sidst i en bog, men med en note for hvert ord på alle websider, vi indekserer. Når vi indekserer en webside, føjer vi den til posterne for alle de ord, den indeholder.

Eftersom nettet og andet indhold konstant ændrer sig, kører vores crawlingprocesser altid for at følge med. Crawlerne lærer, hvor ofte indhold, de har besøgt før, tilsyneladende ændrer sig, og genbesøger det efter behov. De opdager også nyt indhold, når der vises nye links til disse sider eller oplysninger.

Google stiller også en værktøjskasse ved navn Search Console til rådighed uden beregning. Indholdsskabere kan bruge dette værktøj til at hjælpe os med at gennemgå deres indhold på en bedre måde. De kan også gøre brug af etablerede standarder som f.eks. sitemaps eller robots.txt til at indikere, hvor ofte indhold skal besøges, eller om det slet ikke skal inkluderes i vores søgeindeks.

Google tager aldrig imod betaling for at crawle et website oftere – vi stiller de samme værktøjer til rådighed for alle websites for at sikre, at vores brugere får de bedst mulige resultater.

Vores søgeindeks indeholder mere, end det man kan finde på nettet, fordi der også kan findes nyttige oplysninger via andre kilder.

Faktisk har vi flere indekser med forskellige typer oplysninger, som indsamles gennem crawling, gennem partnerskaber, gennem datafeeds, der sendes til os, og gennem vores egen encyklopædi med fakta, Infokort.

Disse mange indekser betyder, at du kan søge i flere millioner bøger fra store biblioteker, finde afgangstider fra dit lokale offentlige transportselskab eller finde data fra offentlige kilder som f.eks. Verdensbanken.