Masterhilfe.de Thema anzeigen

Lloyd · Light-Member

Hallo,

na betrifft (mal wieder) alle Sumas.

Ich stelle in letzter zeit vermehrt fest, das die Bots vorbei kommen, auf die obots.txt zugreifen wollen und dann wieder gehen.

Wie sieht da die Bestmögliche Variante aus?

1.

Keine robots.txt

2.

leere robots.txt

3.

Joerg · Moderator

ich hab eigentlich alle varianten

1. ist noch ziemlich neu, war ich noch zu faul ne robots.txt hochzuladen Smile

, werd ich dann aber wohl machen, wenn die fehlermeldungen sich häufen

2. ganz leer ist etwas sinnfrei? ich hab auf einer robost.txt einen einzelnen bot ausgesperrt, zu den andern nichts vermerkt

3. ist dasselbe wie 1., die bestätigung, dass die bots alles durchwühlen dürfen, ist dann halt explizit

4. auf meiner hauptdomain hab ich mehrere verzeichnisse gesperrt, darunter auch einen test-ordner

AskeT · Club-Member

Ich machs auch in etwa so wie Jörg. Hab auf der Hauptdom einíge "Testverzeichnisse" für alle Bots gesperrt. Ansonsten auch oft (Schlampigkeit!) keine robots.txt

AskeT

hunny · Moderator

Ich bevorzuge Lösung 3 - habe ich ja schließlich im A****** gelernt Wink

und beste Erfahrungen damit gemacht!