Suurin osa Haun hakemistostamme on rakennettu indeksointirobotteina tunnettujen ohjelmistojen työllä. Ne käyvät julkisesti saatavilla olevilla verkkosivuilla ja seuraavat näiden sivujen linkkejä varsin samalla tavalla kuin käyttäjät selaavat verkkosisältöä. Ne siirtyvät sivulta sivulle ja tallentavat Googlen Haun hakemistoon tietoja siitä, mitä löytävät näiltä sivuilta ja muusta julkisesti saatavilla olevasta sisällöstä.
Kun indeksointirobotti löytää verkkosivun, järjestelmämme tulkitsevat sivun sisällön samalla tavoin kuin selain. Huomioimme tärkeitä seikkoja, esimerkiksi avainsanat ja sivun tuoreuden, ja lisäämme kaikki sivun tiedot Haun hakemistoon.
Google Haun hakemistossa on satoja miljardeja verkkosivuja ja kooltaan se on yli sata miljoonaa gigabittiä. Se vastaa kirjan hakemistoa, jossa luetellaan hakemiston kaikkien verkkosivujen kaikki sanat. Kun indeksoimme verkkosivun, se lisätään kaikkien sivulla olevien sanojen kohtiin.
Koska verkko ja muu sisältö muuttuu jatkuvasti, indeksointiprosessimme ovat aina käynnissä pysyäkseen ajan tasalla. Ne oppivat, miten usein niiden aiemmin kohtaama sisältö näyttää muuttuvan, ja käyvät sivulla uudestaan tarpeen mukaan. Ne myös löytävät uutta sisältöä, kun kyseisille sivuille johtavia uusia linkkejä tai uutta tietoa tulee esiin.
Google tarjoaa myös maksuttoman työkalupaketin nimeltä Search Console. Sen avulla sisällöntuottajat voivat auttaa Googlea indeksoimaan sisältöä paremmin. He voivat myös käyttää tuttuja standardeja, kuten sivustokarttoja tai robots.txt-tiedostoa, ilmaistakseen, miten usein sisältöä pitäisi käydä katsomassa tai jos sitä ei pitäisi sisällyttää Haun hakemistoon ollenkaan.
Googlelta ei voi ostaa lisää indeksointia – kaikilla sivustoilla on käytössään samat työkalut, joilla varmistetaan parhaat mahdolliset tulokset käyttäjillemme.
Haun hakemistomme sisältää muutakin kuin verkosta löytyvää sisältöä, koska hyödyllistä tietoa voi löytyä myös muista lähteistä.
Itse asiassa meillä on useita hakemistoja, jotka sisältävät erityyppisiä tietoja. Nämä kerätään indeksoimalla, yhteistyön kautta, meille lähetettyjen datafiidien kautta ja oman faktapankkimme, Tietograafin, kautta.
Näin moni hakemisto tarkoittaa, että voit hakea suurten kirjastojen miljoonista kirjoista, löytää paikallisen julkisen liikenteen matka-aikoja tai löytää dataa julkisista lähteistä, kuten Maailmanpankista.
