Sebagian besar indeks Penelusuran kami dibuat dengan software yang disebut crawler. Crawler akan otomatis mengunjungi halaman web yang dapat diakses secara publik dan membuka link di halaman tersebut, sama seperti yang Anda lakukan jika menjelajahi konten di web. Crawler membuka halaman demi halaman dan menyimpan informasi tentang hal yang ditemukan di halaman tersebut di indeks Penelusuran Google. Crawler juga menyimpan konten lainnya yang dapat diakses secara publik.

Saat crawler menemukan halaman web, sistem kami akan merender konten halaman tersebut, sama seperti yang dilakukan browser. Kami mencatat sinyal-sinyal penting, mulai dari kata kunci hingga pembaruan situs, dan kami tetap mencatat semuanya di indeks Penelusuran.

Indeks Google Penelusuran berisi ratusan miliar halaman web dan berukuran lebih dari 100.000.000 gigabyte. Ini serupa dengan indeks di bagian belakang buku, dengan entri untuk setiap kata yang terlihat di setiap halaman web yang kami indeks. Saat mengindeks halaman web, kami menambahkannya ke entri untuk semua kata yang ada di dalam halaman tersebut.

Karena web dan konten lainnya terus berubah, proses crawling kami selalu berjalan untuk mengimbanginya. Crawler mempelajari seberapa sering konten yang telah dilihat sebelumnya tampak berubah dan mengunjungi kembali konten tersebut sesuai kebutuhan. Crawler juga menemukan konten baru saat link baru ke halaman atau informasi tersebut muncul.

Google juga menyediakan kumpulan alat gratis yang disebut Search Console, yang dapat digunakan oleh kreator untuk membantu kami meng-crawl konten mereka dengan lebih baik. Kreator juga dapat menggunakan standar yang sudah lazim digunakan seperti peta situs atau robots.txt untuk menunjukkan seberapa sering konten harus dikunjungi, atau apakah konten tersebut tidak boleh dimasukkan dalam indeks Penelusuran kami sama sekali.

Google tidak pernah menerima bayaran untuk meng-crawl situs tertentu lebih sering. Kami menyediakan alat yang sama bagi semua situs untuk memastikan hasil terbaik bagi pengguna kami.

Indeks Penelusuran kami tak hanya berisi konten yang ada di web, karena informasi bermanfaat juga dapat ditemukan di sumber lain.

Bahkan, kami juga memiliki beberapa indeks yang berisi berbagai jenis informasi, yang dikumpulkan melalui crawling, kemitraan, feed data yang dikirimkan kepada kami, serta melalui ensiklopedia fakta yang kami miliki, yakni Pustaka Pengetahuan.

Dengan indeks tersebut, Anda dapat menelusuri jutaan buku dari berbagai perpustakaan besar, menemukan waktu perjalanan dari perusahaan transporasi umum lokal, atau menemukan data dari sumber publik seperti Bank Dunia.