La mayor parte de nuestro índice de la Búsqueda se crea a través de un tipo de software llamado rastreador, que visita de forma automática páginas web públicas y sigue los enlaces que contienen, como harías tú si consultaras contenido en la Web. Los rastreadores van de una página a otra y almacenan información que encuentran en ellas y en otro contenido público del índice de la Búsqueda de Google.
Cuando los rastreadores encuentran una página web, nuestros sistemas procesan su contenido igual que un navegador; tomamos como referencia los indicadores clave (desde palabras clave hasta la tasa de actualización) y hacemos un seguimiento de todos estos datos en el índice de la Búsqueda.
El índice de la Búsqueda de Google contiene cientos de miles de millones de páginas web que, juntas, superan los 100.000.000 gigabytes. Es similar al índice de las últimas páginas de un libro: dispone de una entrada para cada palabra de cada página web que indexamos. Al indexar una página web, añadimos al índice todas las palabras que contiene.
El contenido de la Web y de otras fuentes cambia constantemente, por lo que nuestros procesos de rastreo están siempre activos para obtener la información más actualizada. Detectan la frecuencia con la que cambia el contenido al que ya han accedido y vuelven a rastrearlo si es necesario. También descubren contenido nuevo cuando aparecen enlaces nuevos que dirigen a estas páginas o a esta información.
También ofrecemos un conjunto de herramientas sin ningún coste llamado Search Console, que los creadores pueden utilizar para facilitarnos el rastreo de su contenido. Los creadores también pueden usar estándares consolidados como sitemaps o robots.txt para indicar con qué frecuencia debería visitarse su contenido o si no debería incluirse en el índice de la Búsqueda.
En Google no aceptamos pagos por rastrear un sitio web con más frecuencia. Ofrecemos las mismas herramientas a todos los sitios web para asegurarnos de que nuestros usuarios obtienen los mejores resultados posibles.
El índice de la Búsqueda incluye mucho más contenido del que hay en la Web porque hay otras fuentes que ofrecen información útil.
De hecho, tenemos varios índices con distintos tipos de información, que recogemos a través del rastreo, las asociaciones con partners, los feeds de datos que recibimos y nuestra propia enciclopedia: el gráfico de conocimiento.
Gracias a estos índices, puedes hacer búsquedas en millones de libros de las principales bibliotecas, consultar los horarios de viaje de tu empresa de transporte público local o encontrar datos de fuentes públicas como el Banco Mundial.