Masterhilfe.de Thema anzeigen

Lightmaster-AH · Advanced-Member

Hallo zusammen und guten Morgen!

Jaja, der ver-rückte Newbie ist da und hat auch mal wieder ein paar Fragen mitgebracht Very Happy

!

Diesmal geht es um robots.txt

Wie erstelle ich für meine Seite (Forum) eine robots.txt Datei, in der ich den Spidern erlaube alles zu sehen, ausser die Mitgliederliste und eine Forenunterkategorie in der privates gepostet wird?

Wo muss ich diese Datei dann einfügen?

Habt ihr Erfahrungen mit Spidern, die man ausschliessen sollte?
Wenn ja, wie wird dies in den robots.txt mit eingefügt?

Falls ihr mal in meine Seite oder den Quelltext schauen wollt, ihr findet sie unter: www. foren4all.de

Vielen lieben Dank schon einmal für Eure Hilfe und Bemühungen:

Lightmaster-AH

Joerg · Moderator

hallo lichtmaster-ah,

eine robots.txt sieht z.b. folgendermaßen aus:

Lightmaster-AH · Advanced-Member

Thanks, wie immer schnell und klasse beschrieben!

Hast du ein paar "Boesebots", die ich ausschliessen sollte?

Boeserbot gefällt mir richtig gut, wieder mal ein Grund zu lächeln, Danke!

Joerg · Moderator

naja, bei so richtig bösen bots und grabbern besteht auch schon wieder das problem, dass sie sich nicht an die robots.txt halten - die müsste man dann gegebenenfalls über .htaccess aussperren. es gibt auch listen von grabbern, da müsste ich aber selbst erstmal noch schaun - oder vielleicht hat auch jemand anderes da was aktuelles zur hand Smile

nochwas zur robots.txt: so richtig geheime verzeichnisse sollte man dort nicth aufführen, es gibt ja auch noch neugierige zwitgenossen, die dort gerne mal nachschauen. es ist halt nicht mehr als eine anweisung für die bots, schützen kann man seine verzeichnisse damit nicht

Lightmaster-AH · Advanced-Member

Noch einmal Danke,
und es ist mir schon klar, dass ich wirklich vertrauliche Dinge nicht mit einbeziehen, besser noch, erst garnicht im Forum habe.

Mir war und ist nur wichtig, das der robot eben nicht auch Dinge spidert, die in Sumas eh nichts bringen, wie z.B. das Mitgliederverzeichnis.

Eigentlich wollte ich garkeine robots.txt erstellen, wegen Faulheit und fehlender Kenntnisse, aber ich habe jetzt schon mehrfach gelesen, das es wichtig sei sie zu haben, selbst wenn der spider alles sehen darf.

Wenn ich meine robots.txt fertig habe, darf ich sie dann einmal posten, damit du/ihr schauen könnt, ob sie auch korrekt ist?

Ich möchte ja keinen "Müll" hochladen, der mir und meiner Seite mehr schadet, als das er nutzen bringt.

Joerg · Moderator

Lightmaster-AH · Advanced-Member

Hallo,
ich habe meine robots.txt nun erstellt und würde mich freuen, wenn ihr mal einen kurzen Blick darauf werft um mir zu sagen, das es so okay ist.
In Klammern habe ich das geschrieben, von dem ich meine, das der Befehl es bewirkt.

User-agent: * (erlaube allen robots)
Disallow: /images/ (verweigere Zugriff auf Ordner images)
Disallow: /privat.php/(verweigere Zugriff auf PN´s)
Disallow: /memberlist.php/(verweigere Zugriff auf Memberliste)
Disallow: /calendar.php/ (verweigere Zugriff auf die Kalender)
Disallow: /usercp.php/ (verweigere Zugriff auf Userprofil)
Disallow: /forumdisplay.php?f=1/ (verweigere Zugriff auf Adminforum mit der ID 1)

Ich denke zwar, das ich es richtig gemacht habe, aber eine kleine Kontrolle kann nicht schaden.

Noch etwas, im Browser steht zum Beispiel: ...../user.php?
auf meinem Server ist dieselbe Datei dann ohne das "?" am Ende.
Muss ich nun die Fragezeichen oben bei "privat-memberlist-calendar-usercp" mit angeben oder nicht?

Danke schon einmal: Lightmaster-AH

Joerg · Moderator

was auf jeden fall raussollte sind die slashes nach den dateinamen:

Lightmaster-AH · Advanced-Member

Alles klar und Danke.

Na, dann will ich mal hoffen, das ein "Experte" auch mal reinschaut.
Ich muss nämlich ab morgen erst eine 100qm Wohnung renovieren (in einer Woche) dann am nächsten WE umziehen und dann habe ich eine Woche Zeit meine jetzige 70qm Wohnung komplett zu renovieren.

Nebenbei fahre ich noch zu meiner Mutter ins Krankenhaus, die vor ein paar Tagen eine 6 stündige Herz-OP hinter sich gebracht hat.

Also, möchte ich das ganze gern online haben, weil ich wohl die nächsten Wochen kaum Zeit finden werde mich intensiv ums I-Net zu kümmern.

Sorry, gehört alles nicht hierher, aber ich musste mich jetzt einmal kurz ausko*****!

Vielen Dank, alles Liebe: Lightmaster-AH

Joerg · Moderator

du kannst sie auch schon so hochladen - schaden tut sie nicht, und erfüllt für die andern dateien und verzeichnisse auch ihren zweck. ist halt nur die frage, inwieweit die bots das mit dem ? schnallen - und das siehst du dann ja auch in logs, ob die betreffenden dateien gespidert werden oder nicht

und bei einzelnen dateien bietet sich dann ja auch an, die aufnahme in den suchmaschinenindex durch ein entsprechendes metatag auszuschließen: