רוב אינדקס החיפוש שלנו נבנה באמצעות תוכנה שנקראת 'סורקים'. הסורקים נכנסים באופן אוטומטי לדפי אינטרנט שגלויים לכל ו"לוחצים" על קישורים בדפים האלה, בדומה למה שהייתם עושים אם הייתם מעיינים בתוכן באינטרנט. הם עוברים מדף לדף ושומרים באינדקס החיפוש של Google מידע בנוגע למה שהם מצאו בדפים האלה ובפריטי תוכן אחרים שמוגדרים כגלויים לכל.

כשסורקים מאתרים דף אינטרנט, המערכות שלנו מעבדות את תוכן הדף כפי שעושה דפדפן. אנחנו מחפשים סימנים בעלי חשיבות – ממילות מפתח ועד עדכניות האתר – ושומרים תיעוד של כל המידע הזה באינדקס החיפוש.

האינדקס של חיפוש Google מכיל מאות מיליארדים של דפי אינטרנט, וגודלו עולה על 100,000,000 ג'יגה-בייט. אפשר להשוות אותו לאינדקס בחלק האחורי של ספר – יש בו רשומה לכל מילה שמופיעה בכל אחד מדפי האינטרנט שהוספנו לאינדקס. כשאנחנו מוסיפים דף אינטרנט לאינדקס, הוא נוסף לרשומות של כל המילים שהוא מכיל.

אתרים ופריטי תוכן אחרים משתנים כל הזמן, ולכן תהליכי הסריקה שלנו תמיד פועלים ומתעדכנים. הם לומדים את התדירות שבה משתנה תוכן שהם כבר סרקו, וחוזרים אליו לפי הצורך. הם גם מגלים תוכן חדש כאשר מופיעים קישורים חדשים למידע או לדפים האלה.

Google גם מספקת ערכת כלים חינמית בשם Search Console, ויוצרים יכולים להשתמש בה כדי לעזור לנו לסרוק את התוכן שלהם בצורה טובה יותר. הם גם יכולים להשתמש בכלים הקיימים כמו קובצי Sitemap או robots.txt כדי לציין את התדירות שבה יש לבדוק את התוכן או אם אין לכלול אותו כלל באינדקס החיפוש שלנו.

בשום מקרה, Google לא מקבלת תשלום כדי להגביר את תדירות הסריקה של אתר מסוים – אנחנו מספקים את אותם כלים לכל האתרים כדי להבטיח שהמשתמשים שלנו יקבלו את התוצאות הטובות ביותר שזמינות.

אינדקס החיפוש שלנו מכיל לא רק את מה שאפשר למצוא באינטרנט, בגלל שמידע שימושי נמצא גם במקורות אחרים.

למעשה, יש לנו מספר אינדקסים לסוגי מידע שונים, שנאספים דרך סריקה, שותפויות, פידים של נתונים שנשלחים אלינו ואנציקלופדיית העובדות שלנו, Knowledge Graph.

ריבוי האינדקסים מאפשר לכם לחפש במיליוני ספרים מספריות גדולות, למצוא זמני נסיעה מחברת התחבורה הציבורית המקומית שלכם או למצוא נתונים ממקורות ציבוריים כמו הבנק העולמי.