Enamik meie otsinguregistrist põhineb tarkvaral, mida nimetatakse roomajateks. Roomajad külastavad automaatselt avalikke veebilehti ja avavad nendel olevaid linke – samamoodi nagu teete teie veebis sisu sirvides. Roomajad liiguvad lehelt lehele ning talletavad nendelt lehtedelt ja muust avalikust sisust leitud teabe Google’i otsinguregistrisse.
Kui roomajad leiavad veebilehe, renderdavad meie süsteemid lehe sisu, täpselt samamoodi nagu brauser. Uurime põhisignaale – alates märksõnadest ja lõpetades veebisaidi värskusega – ning talletame kogu teabe otsinguregistrisse.
Google’i otsinguregister sisaldab sadu miljardeid veebilehti ja selle maht on üle 100 000 000 gigabaidi. See on nagu raamatu lõpus olev register, milles on kirje iga sõna kohta, mille oleme indekseeritavatelt veebilehtedelt leidnud. Veebilehe indekseerimisel lisame kirjed kõigi sellel sisalduvate sõnade kohta.
Kuna veeb ja muu sisu muutub pidevalt, töötavad meie roomamisprotsessid kogu aeg, et muutustega sammu pidada. Roomajad uurivad välja, kui sageli muutub sisu, mida nad on varem näinud, ja külastavad lehti vajaduse korral uuesti. Samuti leiavad nad uut sisu, kui lisandub uut teavet või ilmuvad uued lingid nendele lehtedele.
Google pakub ka tasuta tööriistakomplekti nimega Search Console, mida sisuloojad saavad kasutada selleks, et aidata meil nende sisus paremini roomata. Lisaks saavad nad kasutada kehtestatud standardeid, nagu saidikaardid või robots.txt, et määrata, kui tihti tuleks sisu külastada või kas see tuleks meie otsinguregistrist üldse välistada.
Google ei võta kunagi vastu tasu, et roomaksime saidil sagedamini – pakume kõigile veebisaitidele samu tööriistu, et esitada kasutajatele parimaid võimalikke tulemusi.
Meie otsinguindeks sisaldab ka muud peale veebis oleva sisu, kuna kasulikku teavet võib leida ka teistest allikatest.
Meil on mitu registrit eri tüüpi teabega, mida kogutakse roomamise abil, partnerlussuhete kaudu, meile saadetud andmevoogudest ja meie enda faktientsüklopeediast, mida nimetame teadmiste graafikuks.
Nende registrite hulk tähendab, et saate otsida suurte raamatukogude miljonitest raamatutest, hankida teavet reisiaegade kohta oma kohalikult ühistranspordiettevõttelt või otsida andmeid avalikest allikatest, nagu Maailmapank.
