Lielākā daļa mūsu meklēšanas rādītāju ir izveidota, izmantojot programmatūru, kas pazīstama kā rāpuļprogrammas. Tās automātiski apmeklē publiski pieejamas mājaslapas un seko tajās izvietotajām saitēm, līdzīgi kā tas būtu, ja jūs paši pārlūkotu saturu tīmeklī. Tās iet no vienas lapas uz nākamo un šajās lapās atrasto informāciju, kā arī citu publiski pieejamu saturu saglabā Google meklēšanas rādītājā.
Kad rāpuļprogrammas atrod mājaslapu, mūsu sistēmas atveido lapas saturu tāpat kā pārlūkprogramma. Mēs ņemam vērā galvenos signālus — no atslēgvārdiem līdz tīmekļvietnes aktualitātei — un tam visam sekojam līdzi meklēšanas rādītājā.
Google meklēšanas rādītājs satur simtiem miljardu mājaslapu, un tā lielums krietni pārsniedz 100 milj. gigabaitu. Tas ir kā rādītājs grāmatas beigās — ar ierakstu par katru vārdu, kas redzams katrā mūsu indeksētajā mājaslapā. Kad mēs indeksējam mājaslapu, mēs to pievienojam visu tajā ietverto vārdu ierakstiem.
Tā kā tīmeklis un cits saturs nepārtraukti mainās, mūsu pārmeklēšanas procesi vienmēr darbojas, lai neatpaliktu. Tie apgūst, cik bieži iepriekš redzētais saturs šķiet maināmies, un pēc vajadzības to apmeklē atkārtoti. Procesi arī atklāj jaunu saturu, kad parādās jaunas saites uz šīm lapām vai jauna informācija.
Google nodrošina arī bezmaksas rīku kopu ar nosaukumu Meklēšanas konsole, ko satura veidotāji var izmantot, lai palīdzētu mums labāk pārmeklēt viņu saturu. Viņi var izmantot arī iedibinātos standartus, piemēram, vietnes kartes vai robots.txt, lai norādītu, cik bieži saturs ir jāapmeklē un vai tas vispār jāiekļauj mūsu meklēšanas rādītājā.
Google nekad nepieņem samaksu par biežāku vietnes pārmeklēšanu — mēs nodrošinām vienādus rīkus visām tīmekļvietnēm, lai nodrošinātu saviem lietotājiem vislabākos iespējamos rezultātus.
Mūsu meklēšanas rādītājs ietver vairāk nekā tikai tīmeklī pieejamo informāciju, jo noderīga informācija var būt izvietota citos avotos.
Patiesībā mums ir vairāki rādītāji, kuros ir iekļauta dažāda veida informācija, kas tiek apkopota ar pārmeklēšanu, izmantojot partnerattiecības, nosūtot mums datu plūsmas un izmantojot mūsu pašu uzturēto faktu enciklopēdiju, Zināšanu tīkls.
Šie daudzie rādītāji nozīmē, ka varat meklēt , uzzināt vietējā sabiedriskā transporta uzņēmuma braukšanas grafika laikus vai atrast datus publiskajos avotos, piemēram, Pasaules Bankas informāciju.
