Večina našega iskalnega indeksa je ustvarjena z delom programske opreme, imenovane iskalniki po spletni vsebini. Ti samodejno obiskujejo javno dostopne spletne strani in sledijo povezavam na teh straneh, podobno kot če bi vi brskali po vsebini na spletu. Prehajajo od strani do strani in v iskalnem indeksu Google shranjujejo informacije o tem, kaj najdejo na teh straneh in o drugi javno dostopni vsebini.
Ko iskalniki po spletni vsebini najdejo spletno stran, naši sistemi prikažejo vsebino strani, tako kot to počne brskalnik. Upoštevamo ključne signale – od ključnih besed do svežine spletnega mesta – in vsemu sledimo v iskalnem indeksu.
Googlov iskalni indeks vsebuje na stotine milijard spletnih strani in njegova velikost znaša več kot 100.000.000 gigabajtov. Je kot kazalo na koncu knjige – z vnosom za vsako besedo na vsaki spletni strani, ki jo indeksiramo. Ko indeksiramo spletno stran, jo dodamo k vnosom za vse besede, ki jih vsebuje.
Ker se splet in druga vsebina nenehno spreminjata, naši postopki iskanja po vsebini neprekinjeno potekajo, saj so le tako lahko v koraku s spremembami. Ugotovijo, kako pogosto se vsebina, ki so jo že videli, spreminja, in jo ponovno po potrebi obiščejo. Prav tako odkrivajo novo vsebino, ko se pojavijo nove povezave do teh strani ali informacij.
Google ponuja tudi brezplačen nabor orodij po imenu Iskalna konzola, ki ga ustvarjalci lahko uporabijo, da nam pomagajo pri boljšem iskanju po njihovi vsebini. Uporabljajo lahko tudi uveljavljene standarde, kot so zemljevidi spletnih mest ali robots.txt, da navedejo, kako pogosto naj bi bila vsebina obiskana oz. ali naj sploh ne bi bila vključena v iskalni indeks.
Google v nobenem primeru ne sprejema plačila za pogostejše iskanje po vsebini spletnega mesta – vsem spletnim mestom nudi enaka orodja, da svojim uporabnikom zagotovi najboljše možne rezultate.
Naš iskalni indeks vsebuje več kot le tisto, kar je na spletu, saj so lahko koristne informacije tudi v drugih virih.
Pravzaprav imamo več indeksov za različne vrste informacij, ki se zbirajo z iskanjem po vsebini, prek partnerstev, prek podatkovnih virov, ki jih prejmemo, in prek naše lastne enciklopedije dejstev, Grafikona znanja.
Ti številni indeksi pomenijo, da lahko iščete med milijoni knjig iz večjih knjižnic, poiščete vozne rede lokalne službe za javni prevoz ali podatke iz javnih virov, kot je Svetovna banka.
