Sneller lerende zoekmachine dankzij UvA-algoritme

Hoe weet Google welke zoekresultaten getoond moeten worden? Er bestaan vele algoritmen die zoekresultaten geven, maar welke werkt het beste? Aan de Universiteit van Amsterdam (UvA) onder leiding van prof. dr. Maarten de Rijke is een nieuwe methode ontwikkeld waarmee snel een groot aantal zoekalgoritmen met elkaar vergeleken kan worden, door te kijken naar op welke resultaten gebruikers klikken. Zo leert de zoekmachine continu en snel van gebruikers welke algoritmen de beste resultaten opleveren.

Dit onderzoek wordt uitgevoerd binnen het LiMoSINe Project (EU/FP7) en met steun van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO). De resultaten van dit onderzoek presenteren de onderzoekers komende week op het toonaangevende internationale congres ‘Conference on Information and Knowledge Management’ (CIKM 2014) in Shanghai.

Zoekalgoritmen

Zoekmachines zoals Google gebruiken vaak honderden verschillende zoekalgoritmen, die alle tot doel hebben om zo goed mogelijk de zoekopdracht van gebruikers te matchen met de inhoud van webpagina’s. Een belangrijke reden van Google’s sterke positie is dat ze hun zoekalgoritmen constant uitbreiden en verbeteren. Maar om die algoritmen — en daarmee de resultaten — te verbeteren is het van belang te weten welk zoekalgoritme de beste resultaten oplevert.

Het vergelijken van algoritmen gebeurt onder andere via interleaving, een methode waarbij de zoekmachine het klikgedrag van gebruikers analyseert om te leren welk algoritme de beste resultaten oplevert. De resultaten van twee zoekalgoritmen (A en B) worden met elkaar gemixt, en vervolgens word gekeken op welke pagina’s gebruikers klikken. Is de geklikte pagina gevonden door zoekalgoritme A? Dan leert de zoekmachine dat A in dit geval beter is dan B.  Door dit op grote schaal (met miljoenen gebruikers) te doen leert de zoekmachine automatisch welk algoritme het beste is.

Meerdere vergelijkingen

Een beperking bij dit zogenaamde interleaving is dat er telkens maar twee algoritmen tegelijkertijd met elkaar vergeleken kunnen worden. Voordat je weet welke van de honderden algoritmen het best werkt ben je dus al snel vele duizenden vergelijkingen verder.

De nu ontwikkelde methode is in staat meerdere algoritmen tegelijkertijd met elkaar te vergelijken, om zo veel sneller te leren welk algoritme te prefereren is. Hiermee kunnen zoekmachines sneller verbeteren.