A Kereső indexének legnagyobb részét a feltérképező robotként ismert szoftverek építik fel. Ezek automatikusan felkeresik a nyilvánosan hozzáférhető weboldalakat, és követik a rajtuk lévő linkeket, ugyanúgy, mint ahogy a felhasználók is tennék az interneten található tartalmak böngészésekor. Oldalról oldalra haladnak, és információkat tárolnak a Google Kereső indexében arról, hogy mit találnak ezeken az oldalakon és más, nyilvánosan hozzáférhető tartalmakban.
Amikor a feltérképező robotok rátalálnak egy weboldalra, a rendszereink megjelenítik az oldal tartalmát – ugyanúgy, mint a böngészők. Feljegyezzük a kulcsfontosságú jeleket – a kulcsszavaktól kezdve a weboldal frissességéig – és eltesszük őket a keresési indexben.
A Google Kereső indexe weboldalak százmilliárdjait tartalmazza, mérete pedig jóval meghaladja a 100 000 000 gigabájtot. Olyan ez, mint egy könyv tárgymutatója – külön bejegyzéssel minden indexelt weboldal minden egyes szavához. Az indexelés során hozzáadjuk a weboldalakat a rajtuk található minden egyes szó bejegyzéséhez.
Mivel az internet és más tartalmak folyamatosan változnak, keresési folyamataink állandóan dolgoznak, hogy ne maradjanak le valamiről. Megtanulják, hogy a már látott tartalmak várhatóan milyen gyakran változnak, és szükség esetén újra felkeresik az érintett oldalakat. Új tartalmakat is felfedeznek, amint új linkek jelennek meg ezekhez az oldalakhoz vagy információkhoz.
A Google egy díjmentes eszközkészletet is biztosít Search Console néven, amelyet arra használhatnak a tartalomkészítők, hogy segítségével jobban fel tudjuk térképezni tartalmaikat. Bevált normákat (pl. webhelytérképeket vagy robots.txt-t) is használhatnak annak jelzésére, hogy milyen gyakran térképezze fel a rendszer az adott tartalmat, illetve annak jelzésére, ha egyáltalán nem szeretnék, hogy megjelenjen valami a Kereső indexében.
A Google nem fogad el fizetést azért, hogy gyakrabban térképezzen fel webhelyeket. Ugyanazokat az eszközöket biztosítjuk az összes webhely számára, így tudjuk biztosítani a lehető legjobb eredményeket felhasználóink számára.
A Kereső indexe nem csak azt tartalmazza, ami az interneten van, mivel más forrásokban is találhatók hasznos információk.
Ami azt illeti, több különböző típusú információhoz vannak indexeink, amelyeket feltérképezésen, partneri kapcsolatokon, számunkra küldött adatfeedeken és saját tényenciklopédiánkon, a Tudásgráfon keresztül állítottunk össze.
Ez a nagy számú index azt jelenti, hogy kereshet a legnagyobb könyvtárak milliónyi könyvében, kereshet utazási időket a helyi tömegközlekedési vállalat adatbázisában, illetve kereshet nyilvános forrásokból származó információkat is (ilyen például a Világbank.
