Interne zoekresultaten niet meer indexeren?

Ma 12 maart 2007 22:39, Redactie, 13128
1173734826googlerobot

Google-spreekbuis Matt Cutts meldt vandaag op zijn blog dat de resultaten die voortkomen uit interne zoekresultaten via robots.txt door site-eigenaren moeten worden uitgesloten van indexering door Google. Dit kan gevolgen hebben voor vooral webshops en sites die overzichten van producten tonen. De pijn ligt bij de resultaat-pagina’s van interne zoekmachines.

In de guidelines van Google is hierover het volgende opgenomen: “Use robots.txt to prevent crawling of search results pages or other auto-generated pages that don't add much value for users coming from search engines.”

SEO-guru Danny Sullivan gaat er op Search Engine Land uitgebreid op in. Het zou namelijk kunnen betekenen dat Google websites die hun zoekresultaten niet in de robots.txt hebben uitgesloten aan gaatpakken, getuige de volgende quote:

“It’s still good to clarify that Google does reserve the right to take action to reduce search results (and proxied copies of websites) in our own search results.”

Wat is er nou aan de hand? Laten we hetzelfde voorbeeld als Sullivan eens pakken, maar dan in Nederland.

Als je in google zoekt op “dvd spelers” staat kieskeurig.nl bovenaan en op plek twee vergelijk.nl.

1173734872dvdspelerresultgoogle
Zou je nou in vergelijk.nl vanaf de homepage zoeken op ‘dvd speler’, dan kom je op exact dezelfde plek (zelfde url) uit als de pagina die als tweede in de resultaten van Google naar voren komt (http://www.vergelijk.nl/dvd_speler/).

1173735388dvdvergelijkurl
1173735462dvdvergelijkurl2
1173735554dvdvergelijkzoek

Dit zou volgens de theorie van Sullivan een pagina zijn die niet voor zou mogen komen en in de robots.txt zou moeten worden uitgesloten. Dit zou dus voor vergelijk.nl een flinke klap kunnen zijn, aangezien veel pagina’s dan niet in Google naar voren zouden mogen komen. Vergelijk.nl gaf op de laatste Emerce Update aan dat zoekmachinemarketing voor hun extreem belangrijk is. Dit kan dus voor hun gevolgen hebben.

Kijk je naar het resultaat erboven, die van kieskeurig.nl, is dat een goed voorbeeld van een twijfelgeval. Hier is de pagina die getoond wordt niet het rechtstreekse resultaat van de zoek, maar moet de gebruiker na de zoek eerst kiezen voor het soort dvd-speler. Hier is dus onduidelijk of dit mag of niet.

1173735641dvdkieskeurigsoort

Kort samengevat komt het erop neer dat pagina’s met zoekresultaten via de robots.txt zouden moeten worden uitgesloten. Maar er is veel onduidelijkheid over de exacte regels. Het is de moeite waard het stuk van Sullivan even helemaal te lezen en zo je eigen beeld te vormen en nadere uitleg te krijgen.

Benieuwd welk vervolg dit krijgt en wat de reacties hierop zullen zijn.

Tags: emerce, event, google, mac, marketing, search, searchengine, weblog, zoekmachine
«Winkelcentrum virtueel...
Embedded Podcast test...»

Reacties (13)

    • Harry de Hengst

    Ik vind dit een heel slecht voorbeeld aangezien je de pagina van Kieskeurig ook gewoon via de homepage kunt benaderen zonder een zoekwoord in te typen.

    Daarmaast staat er op de pagina 'dvd-speler' informatieve informatie over DVD spelers en waar jij ze goedkoop kunt kopen.

    Matt geeft ook duidelijk aan dat het om automatisch gegenereerde pagina's gaat die hij bedoelt, en daar valt deze pagina zeker niet onder.

    Een beter voorbeeld zijn de automatisch gegenereerde (spam)pagina's van Marktplaats.nl zoals hier:

    http://statisch.marktplaats.nl/zoeken/

    Ik denk dan ook eerder dat Matt dat soort rotzooi bedoeld.

    Ma 12 mrt 2007, 23:39 [reply]

    • Joyce

    Ik vind het ook een vreemde actie, waarom zou ik als gebruiker de resultaten van vergelijk.nl en kieskeurig.nl niet willen zien, ze zijn toch erg relevant voor de zoekterm waar ik op zoek?

    Di 13 mrt 2007, 07:53 [reply]

  • @Harry. Ben ik met je eens, daarom geef ik kieskeurig.nl ook aan als een 'twijfelgeval'. Bij vergelijk ligt dat volgens mij iets anders. Marktplaats is overigens ook een goed voorbeeld.

    Het klopt dat Matt over dat soort rotzooi praat. Wat Sullivan wil aangeven en wat ik hier er ook probeer uit te lichten is dat er veel reden voor onduidelijkheid kan gaan ontstaan. Zie ook de reactie van Joyce: het hoeft helemaal niet zo goed te zijn wat Google wil.

    Di 13 mrt 2007, 07:54 [reply]

  • Erg interessant bericht! Het voorbeeld van Vergelijk.nl is inderdaad wat slecht gekozen aangezien het hier om een pagina gaat die ook via de normale menu structuur te bereiken is en dus niet "auto-generated" is.
    Nu heb ik wel een ander voorbeeld voor vergelijk.nl die dan weer wat twijfelachtiger is. Zoek maar eens op site:www.vergelijk.nl/q/ deze pagina's worden gegenereerd op basis van zoekopdrachten uit hun interne zoekmachine.
    Echter krijg je nog steeds relevante resultaten terug dus ik vraag me af of dit dan "niet mag".

    Di 13 mrt 2007, 09:35 [reply]

  • ik bedoel dus: zoek maar eens op site:vergelijk.nl/q/

    http://www.google.nl/search?sourceid=navclient&ie=UTF-8&rls...GGLJ:2006-13,GGLJ:en&q=site%3awww%2evergelijk%2enl%2fq

    Di 13 mrt 2007, 09:36 [reply]

  • @Niels,

    Nou, dat lijken me toch zeker dynamisch gegenereerde pagina's... lol....

    Wat ik me afvraag, kan je ook een pagina excluden met robots.txt bestanden?

    normaliters is het altijd /directory/ wat wordt genoemd als voorbeeld...ik zie nooit iemand die zegt /directory.php om te excluden.....

    Di 13 mrt 2007, 09:43 [reply]

  • @gerben

    Zeker automatisch gegenereerd, maar nog wel relevant (in tegenstelling tot het marktplaats voorbeeld)

    Een specifieke pagina kan je best exluden in je robots txt bestand. Echter in de praktijk komt het vaak voor dat je niet 1 pagina wil excluden maar een reeks pagina's. die reeks staat vaak weer in een bepaalde directory.

    Di 13 mrt 2007, 10:00 [reply]

  • @Niels,

    Klopt, is een reeks pagina's, maar allemaal vanuit 1 pagina opgebouwd....

    Ach, what de f*^k, we proberen het eens ff....

    Di 13 mrt 2007, 10:17 [reply]

  • @ Gerben, ben benieuwd, laat je bevindingen even weten!

    Ik zie dat het voorbeeld van vergelijk.nl voor verwarring kan zorgen (wat sowieso al een van de issues was) dus bedankt voor de andere voorbeelden die gepost worden!

    Di 13 mrt 2007, 10:20 [reply]

  • En deze:

    http://www.google.nl/search?hl=nl&q=site%3Aterk.nl+gevonden&...

    Je hebt hier niet eens navigatie, links of wat dan ook intern..dus het zijn puur historische zoekopdrachten.

    Behalve dan via de sitemap die weer leidt naar http://www.terk.nl/zoekwoorden.php etc, etc...

    Di 13 mrt 2007, 15:56 [reply]

  • Ik neem aan dat dit een waarschuwing is, aangezien dit al tijden in de Guidelines staat en vinden.nl hier jaren terug al om gebanned is ;)

    Di 13 mrt 2007, 17:17 [reply]

  • @Roy,

    En volgens mij hangt het ook nog eens van de omvang waarmee je het doet......

    Di 13 mrt 2007, 17:47 [reply]

  • @Bas,

    Yep werkt, Google webmaster central geeft aan dat alle dynamische url's opgebouwd vanuit 1 .php pagina door de robots.txt worden uitgesloten. Precies zoals ik het hebben wilde...

    Za 17 mrt 2007, 20:01 [reply]

Reageren

  • HTML niet toegestaan. URL's worden automatisch clickable.
    * E-mail adres wordt niet getoond

Recommend on Google

Headlines

© 2004-2011 Dutchcowboys.nl - All Rights Reserved.

All views and opinions expressed are those of the authors of Dutchcowboys.

All trademarks, slogans, text or logo representation used or referred to in this website are the property of their respective owners. Sitemap