proxyfree.de erzeugt Duplicate Content
Als ich vor ein paar Tagen einen Ranking-Check für eine Kundenpräsenz machte ist mir die Seite eines Leipzigers ganz besonders unangenehm aufgefallen – www.proxyfree.de Kurzerhand hab ich mal bei Jörg (Fachmann im aufspüren böser Dinge) nachgefragt was das denn soll und wie das überhaupt sein kann? Er gab mir dann den Rat den Knaller-Dienst einfach via .htacces auszusperren und gut ist. Hab ich gemacht und gut war es für mich, nicht aber für Jörg, er hat die Sache weiter beobachtet.
Über einen Proxy zu surfen ist ja ansich nichts verwerfliches und normalerweise tauchen die via Proxy besuchten Seiten auch nicht im Google Index auf, normalerweise. In diesem Fall ist das aber ganz anders. Als es mir zum ersten Mal aufgefallen ist waren laut Site-Abfrage einige hundert verschiedene URLs im Google Index und nun lese ich bei Jörg das es mittlerweile über 1800 sind. Das passiert auch nicht einfach so… entweder, so erklärte mir Jörg werden die via Proxy aufgerufenen URLs von aussen verlinkt, oder aber der scheinbar schlaue Leipziger lässt mittels der Software die aufgerufenen Seiten speichern und pumpt diese dann in den Index. Denn wenn Google einmal eine solche URL http://www.proxyfree.de/nph-proxy.cgi/010110A/http/www.proxyfree.de/ gefressen (gefunden hat) hat, werden auch alle auf der Ziel Domain enthaltenen Verweise/Links auf diese Art und Weise von Google weiter verfolgt, gelangen in den Index und erzeugen, so die starke Vermutung Duplicate Content.
Möglichkeit Nummer 3 wäre aber auch, das er die Proxy-Kiste aufgesetzt und an den Einstellungen gefummelt hat, ohne zu wissen was er da genau tut.
Der Tipp von Jörg ist die IP von proxyfree.de in der .htaccess blocken:
Deny from ***
Nun werde aber auch ich weiter ein Auge auf den Sachsen haben, ob er nicht alsbald mit einer neuen IP um die Ecke kommt.
Update: Via Site-Abfrage ist ein tägliches Wachsen in den Ergebnissen um rund 150 zu beobachten.
Update: 27.11.2006 – Via Mail hat mir der Betreiber u.a. mitgeteilt das nun eine robots.txt eingefügt wurde, so das das Problem, welches hier im Blog mehrmals angesprochen wurde nicht mehr existieren soll.
Kleine Ergänzunmg / Korrektur:
Die indizierten Proxy-Seiten müssen in jedem Fall irgendwo von außen verlinkt woren sein, und der Proxybetreiber selbst muss hierbei nicht der Übeltäter sein. Die Verlinkung scheint mir aber kein “Unfall” zu sein: damit eine größere Anzahl dieser Seiten von Google aufgenommen werden, müssen schon mehrere Links mit ausreichend Pagerank auf diese verweisen.
Das kann ganz gut möglich sein, das er nicht der “Übeltäter” ist, aber ihm gehört die Domain/Dienst.