Intelligent spiders

Vorig artikel Volgend artikel
1104099948spiders

De alsmaar omvangrijker wordende databases van zoekmachines zoals Google en Lycos leveren een probleem op. Bovendien presenteren deze zoekmachines veelvuldig irrelevante pagina's. Intelligent spiders lijken deze problemen op te lossen. Traditionele zoekmachines indexeren zoveel mogelijk webpagina's en stoppen deze informatie in een database. Zogenaamde spiders die op zoek gaan naar webpagina's, beschouwen het internet als een graaf die zij doorlopen met een traditioneel zoekalgoritme zoals 'breadth first search' of 'depth first search' en bieden elke pagina op hun weg aan.

Deze aanpak heeft enkele nadelen. De database wordt alsmaar groter en dit impliceert frequente optimalisatie. Doordat het internet kan beschouwd worden als een dynamische zoekruimte - dagelijks worden webpagina's bijgemaakt, verwijderd en gewijzigd - moet de database constant onderhouden worden. De gebruiker krijgt veel irrelevante webpagina's aangeboden omdat de meeste zoekmachines een goede beoordelingsfunctie missen. Verder hebben de meeste zoekmachines commerciële belangen bij de informatie die zij aanbieden en dit kan resulteren in het onpartijdig verstrekken van informatie.

Het concept van een intelligent spider (Chen e.a., 1998) is gebaseerd op een 'client based spider' die in real time het web afzoekt naar de gewenste informatie en poogt hiermee enkele nadelen weg te werken. De intelligentie van de spider zit hem in het gebruik van een heuristisch zoekalgoritme zoals een 'genetisch algoritme'.

Intelligent spiders Een intelligent spider is een software-agent die autonoom het internet kan doorzoeken naar gewenste informatie en opereert vanuit het werkstation van de gebruiker. De spider zoekt in real time naar de gewenste informatie en begint te zoeken vanaf enkele startpagina's (seeds; zaden), die de gebruiker opgeeft als referentiepagina's voor het gewenste onderwerp.

Lees het volledige artikel van Jurgen Goelen op informatie.nl

Reageren is uitgeschakeld omdat er geen cookies opgeslagen worden.

Cookies toestaan Meer informatie over cookies