Robot.txt – Wegweiser der Suchmaschinen

robotEine kleine Datei mit einem Texteditor geschrieben die aber große Wirkung haben kann. Die Robot.txt Datei sagt den meisten Suchmaschinen welche Teile (Dateien und Verzeichnisse) in den Index aufgenommen werden sollen und welche nicht. Der Index ist quasi die Datenbank der Suchmaschine in der alle Einträge von Millionen von Internetseiten gespeichert sind. Um zu verhindern, dass Bilder oder JavaScripte ausgelesen werden, kann man diese über die Robot.txt Datei sperren.

Sie können den Suchmaschinen mit Hilfe der Robot.txt Datei sagen welche Dateien und Verzeichnisse indexiert werden soll und welche nicht. Überlegen Sie sich es aber gut welche Dateien oder Verzeichnisse wirklich ausgelassen werden sollen. Es ist schon vorgekommen, dass wichtige Dateien einer Homepage laut Robot.txt nicht indexiert werden sollten. Der betroffene Kunde wunderte sich allerdings nach einiger Zeit warum seine Webseite so wenig bzw. gar nicht besucht wurde.
Nach einer Prüfung stellten wir fest das der ursprüngliche Programmierer der Seiten einen großen Fehler gemacht hatte. Er hatte wichtige Teile der Homepage in der Robot.txt Datei ausgeschlossen. Die Suchmaschinen hielten sich an die Anweisung, so dass diese wichtigen Teile der Homepage nicht bei den Suchmaschinen aufzufinden waren. Das ist aus Suchmaschinenoptimierung Sicht natürlich eine Katastrophe.

Robot.txt, kleine Datei – große Wirkung

Nachdem wir die Robot.txt Datei korrigierten, lief es auch mit den Suchmaschinen besser und die Seite wurde im Laufe der folgenden Wochen wesentlich besser besucht. Bevor in der Robot.txt Datei gravierende Fehler gemacht werden, ist es aus unserer Sicht sinnvoller diese Datei von einem Profi erstellen zu lassen. Die Robot.txt Datei ist übrigens ein Standard der aus Suchmaschinenoptimierung Sicht positiven Einfluss auf die Positionierung und Berechnung der Wertigkeit der Webseite hat.

Auf der anderen Seite kann man durch einen Eintrag verhindern das die Suchmaschinen bestimmte Ordner in den sog. Index mit aufnehmen. „In den Index nehmen“ bedeutet, dass diese Dateien in den Suchergebnissen zu finden sind und damit öffentlich werden. Bei manchen Dateien möchte in der Regel der Betreiber garnicht das diese veröffentlicht werden. So können, z.B. Bilder, Scripte, CSS-Dateien oder Quellcodes für Formulare dazu gehören. Es besteht nun also die Möglichkeit einzelne Dateien oder sogar ganze Verzeichnisse in der Datei auszuschließen.

Auch bei der Erstellung oder Korrektur einer vorhandenen Robot.txt Datei sind wir Ihnen natürlich gerne behilflich.

Sie brauchen Hilfe oder haben noch Fragen? Wir bieten Ihnen als Erstkontakt eine unverbindliche und kostenfreie Beratung an. Warten Sie nicht zu lange sonst sind alle zeitnahen Termin vergeben.

JA - ich möchte einen Termin für eine unverbindliche und kostenfreie Beratung
Kategorie: suchmaschinenoptimierung | von: Jan-Uwe Lahann
Schlagwörter: , , ,
Kommentar hinterlassen