DNS- en netwerktechnologiebedrijf Cloudflare heeft Google gevraagd of het zijn crawlers kan aanpassen. Iets wat heel grote invloed zou kunnen hebben op hoe websites worden ‘gezien’ door de zoekmachine van Google. Cloudflare vraagt het omdat er steeds meer AI in Google-producten komt te zitten.
Om deze situatie te begrijpen is het goed om de basics van de Google zoekmachine door te nemen. Een crawler is ook wel een spider of een bot. Het is software die Google inzet om de content van websites te begrijpen en te kunnen indexeren. Het kijkt naar elke pagina van een website en bepaalt dan: is dit iets wat waardevolle informatie bevat of niet? De crawlers schijnen maar een x aantal pagina’s te accepteren.
Tot nu toe werkte dat prima: websites leerden ongeveer wat die crawlers van Google graag zagen en zo konden ze beïnvloeden hoe hoog hun ranking was in de zoekmachine dankzij search engine optimization. Soms veranderde het wel wat, wat Google graag zag, maar daar werd dan snel weer op geanticipeerd. Nu zijn we echter beland in een nieuw tijdperk. Zoals we vanmorgen al beschreven, GEO en EEAT. En dat is waar de schoen van Cloudflare wringt.
Cloudflare test nieuwe mogelijkheden waarmee websites kunnen zorgen dat de AI-crawlers van Google niet meer binnen mogen komen, of dat ze ervoor moeten betalen. AI-crawlers zijn specifiek de crawlers die voor de AI-mogelijkheden van Google worden gebruikt, zoals AI Mode en AI Overviews, waar veel kritiek op is. Deze vatten websites als het ware samen en geven boven de zoekresultaten. Er is wel een bronvermelding, maar mensen hebben natuurlijk nog weinig reden om door te klikken als ze hun antwoord al hebben.
Logisch dus dat websites er niet in willen worden opgenomen, want hun content wordt eigenlijk gestolen. Cloudflare heeft hiermee dus een goede manier om te zorgen dat Google met zijn AI Overviews geen content meer ‘steelt, maar tegelijkertijd is het de vraag hoe het dat logistiek voor elkaar gaat krijgen. Websites zijn bang dat ze de gewone crawlers dan ook niet meer over de vloer krijgen en dat dat hun ranking in de ouderwetse zoekresultaten negatief beïnvloedt.
Cloudflare zegt: “We zullen Google vragen om manieren te bieden om Answer Box en AI Overview te blokkeren, zonder daarbij ook de klassieke zoekindexering te blokkeren. Toen werd gevraagd of dat wel mogelijk was, zei het: “Dat is het zeker. #staytuned” Maar ook: “In het ergste geval zullen we ergens een wet aannemen die hen verplicht hun crawlers in te zetten en vervolgens alle routes naar hun crawlers vanaf daar bekend te maken. En dat zou niet moeilijk zijn. Maar ik hoop dat het niet zover hoeft te komen.”
Cloudflare is een van de belangrijkste infrastructuurbedrijven in de wereld. Het is geen AWS en geen Microsoft, maar het verwerkt dagelijks miljarden verzoeken en heeft dus een vrij grote vinger in de pap van het wereldwijde web. Het kan dus een grote zaak worden. Ook vanuit Europa zijn er al uitgevers die zich verenigen tegen de AI Overviews van Google.
