Az évek során a Kereső változásai mindig a Google felhasználóinak folyamatosan változó igényeit és elvárásait követték. Az olyan innovatív megoldásoktól kezdve, mint a Tudásgráf, a releváns tartalmak kiemelését biztosító rendszereink frissítéséig a célunk mindig is az, hogy javítsuk a keresési találatok hasznosságát.

A Kereső minden lehetséges módosításánál szigorú tesztelés és értékelés alapján elemezzük ki a mutatókat, és döntjük el, hogy bevezessük-e a javasolt módosítást.

Az értékelésekből és kísérletekből származó adatokat tapasztalt mérnökök és kereséselemzők – valamint más, jogi és adatvédelmi szakértők – által végzett alapos felülvizsgálatnak vetjük alá, akik aztán eldöntik, hogy jóváhagyható-e a módosítás bevezetése. 2022-ban több mint 800 000 kísérletet végeztünk, amelyek több mint 4000 fejlesztést eredményeztek a Keresőben.

A Keresőt érintő minden javasolt változtatást legtapasztaltabb mérnökeink és adattudósaink ellenőrzik, akik a különböző kísérletek adatai alapján eldöntik, hogy a változás bevezetése jóváhagyható-e. Az elmúlt év javaslatai közül számos változtatást nem vezettünk be: ha nem kimutatható, hogy tényleg előnyösek, akkor elvetjük őket.

Élő forgalmi kísérleteket is végzünk, amelyekkel megfigyelhetjük, hogy az igazi felhasználók hogyan használnak egy-egy tényleges bevezetés előtt álló funkciót. A vizsgált funkciót csak a felhasználók egy része, általában 0,1%-a kapja meg. Ezt követően a kísérleti csoport eredményeit olyan kontrollcsoportéval hasonlítjuk össze, amely nem találkozott a funkcióval. Nagyon sok mutatót figyelembe veszünk, például a kattintásokat, a végrehajtott keresések számát, azt, hogy megszakították-e a kereséseket, a találatok megnyitásáig eltelt időt és egyebeket. Az adatokon végzett mérésekkel megállapíthatjuk, hogy az új funkció használata pozitív változást eredményez-e – azaz az újítás mindenki számára javítja-e a találatok relevanciáját és hasznosságát.

A Kereső nem állandó. Rendszerinket szüntelenül fejlesztjük, hogy jobb találatokat nyújthassanak. Az újítások bevezetésében a Kereső minőségértékelői is fontos szerepet játszanak. Az értékelőknek egymás mellett két találatlistát mutatunk: az egyik az újítás eredménye, a másik a meglévő rendszeré. Ezután megkérjük őket, hogy fejtsék ki, melyik listát részesítik előnyben, és miért.