La mayor parte de nuestro índice de la Búsqueda se crea mediante un tipo de software llamado rastreador, que visita de forma automática páginas web públicas y sigue los vínculos que se incluyen en ellas, tal como harías si estuvieras consultando contenido en la Web. Los rastreadores van de una página a otra y almacenan información que encuentran en ellas y en otro contenido de acceso público del índice de la Búsqueda de Google.

Cuando los rastreadores encuentran una página web, nuestros sistemas procesan su contenido igual que un navegador. Tomamos nota de factores clave (desde palabras clave hasta el nivel de actualidad de los sitios web) y realizamos el seguimiento de todo el contenido en el índice de la Búsqueda.

El índice de la Búsqueda de Google contiene cientos de miles de millones de páginas web y supera notablemente los 100,000,000 gigabytes. Es similar al índice de las últimas páginas de un libro: incluye una entrada para cada palabra de todas las páginas web que indexamos. Cuando indexamos una página web, la añadimos a las entradas de todas las palabras que contiene.

Dado que el contenido de la Web y de otras fuentes cambia constantemente, nuestros procesos de rastreo están siempre activos para obtener la información más actualizada. Descubren con qué frecuencia cambia el contenido que ya consultaron y, si es necesario, vuelven a visitar la página para actualizarlo. También descubren contenido nuevo cuando aparecen vínculos nuevos a esas páginas o a esa información.

Google también ofrece un conjunto de herramientas gratuito llamado Search Console, que los creadores pueden utilizar para facilitarnos el rastreo de su contenido. Los creadores también pueden usar estándares consolidados como sitemaps o robots.txt para indicar con qué frecuencia se debería visitar su contenido o si no debería incluirse en el índice de la Búsqueda.

En Google nunca aceptamos pagos por rastrear un sitio web con más frecuencia. Ofrecemos las mismas herramientas para todos los sitios web a fin de asegurarnos de que nuestros usuarios obtengan los mejores resultados posibles.

El índice de la Búsqueda incluye mucho más contenido del que hay en la Web porque hay otras fuentes que almacenan información útil.

De hecho, tenemos varios índices con distintos tipos de información, que recopilamos a través del rastreo, las asociaciones, los feeds de datos que recibimos y nuestra base de información fáctica: el Gráfico de conocimiento.

Gracias a estos índices, puedes hacer búsquedas en millones de libros de las principales bibliotecas, consultar los horarios de viaje de tu empresa de transporte público local o encontrar datos de fuentes públicas como el Banco Mundial.