تم إنشاء معظم فهرس البحث لدينا من خلال عمل البرامج المعروفة باسم برامج الزحف. تزور هذه البرامج تلقائيًا صفحات الويب العلنية وتتتبّع الروابط المتوفرة على تلك الصفحات، تمامًا كما لو كنت تتصفح المحتوى على الويب. تنتقل من صفحة إلى أخرى وتخزّن معلومات حول ما تجده في هذه الصفحات والمحتوى الآخر المتاح للجميع في فهرس محرك بحث Google.
عندما تعثر برامج الزحف على صفحة ويب، تعرض أنظمتنا محتوى الصفحة تمامًا كما يفعل المتصفح. إننا نأخذ في الاعتبار الإشارات الرئيسية، بدءًا من الكلمات الرئيسية ووصولاً إلى حداثة الموقع الإلكتروني، ونتتبّع كل ذلك في فهرس البحث.
يتضمن فهرس "بحث Google" مئات المليارات من صفحات الويب ويزيد حجمه عن 100 مليون غيغابايت بكثير. إنه أشبه بالفهرس المضمّن في نهاية كتاب، ونحن نُدخِل فيه جميع الكلمات الظاهرة في كل صفحة نفهرسها. وعندما نفهرس صفحة ويب، نضيفها إلى بيانات كل الكلمات المضمّنة فيها.
بما أن الويب والمحتوى الآخر يتغيران باستمرار، فإن عمليات الزحف لدينا تعمل دائمًا لمواكبة التطورات. تتعرّف برامج الزحف على عدد المرات التي يتغير فيها المحتوى الذي رأته من قبل وتعود لزيارته حسب الحاجة، كما تكتشف محتوًى جديدًا عند ظهور روابط جديدة لتلك الصفحات أو معلومات جديدة.
يوفر محرك البحث Google مجموعة أدوات تُعرف باسم Search Console يمكن لمشئي المحتوى استخدامها لمساعدتنا في الزحف إلى محتواهم بشكل أفضل. يمكنهم أيضًا الاستفادة من المعايير المعمول بها، مثل خرائط الموقع أو ملفات robots.txt للإشارة إلى عدد المرات التي يجب فيها زيارة المحتوى أو ما إذا كان يجب عدم تضمينه في فهرس البحث.
لا تقبل Google مطلقًا تلقّي أي دفعات مالية لزيادة معدل الزحف إلى موقع إلكتروني، إذ نوفِّر الأدوات نفسها لكل مواقع الويب لضمان أفضل النتائج الممكنة لمستخدمينا.
يتجاوز فهرس البحث الخاص بنا حدود المحتوى المتوفر على الويب، لأنه يتيح العثور على معلومات مفيدة في مصادر أخرى.
في الواقع، لدينا فهارس متعددة لأنواع مختلفة من المعلومات، يتم جمعها من خلال الزحف ومن خلال الشراكات ومن خلال خلاصات البيانات التي يتم إرسالها إلينا ومن خلال موسوعة الحقائق الخاصة بنا، وهي الرسم البياني المعرفي.
تعني هذه الفهارس العديدة أنه يمكنك البحث في ملايين الكتب من المكتبات الكبرى أو العثور على أوقات السفر من وكالة النقل العام المحلية أو العثور على بيانات من مصادر عامة مثل البنك الدولي.
