Masterhilfe.de Thema anzeigen - Heinrich der Mirago Robot ist wieder unterwegs Webmaster Forum

Caschi · Administrator

Der Mirago Robot Heinrich ist zum 2 mal unterwegs um Seiten für die neue Suma Mirago zu holen. Beim erstenmal hatte der Bot sich nicht an die Robot.txt gehallten und hatte alles gespidert was nur ging. Wie es aussieht scheind sich Heinrich aber diesmal drann zuhalten.

angler · Advanced-Member

schoener name
heinrich
Mr. Green

Caschi · Administrator

ja und heinrich ist auch wie seine name Mr. Green

er doch beim ersten durchlauf einfach fröhlich die robtot.txt ignoriert und außerdem harntnäckig versucht pw geschütze seite zu indexieren *lol* Mr. Green

maus · Power-Member

den sollnse mal zu google schicken, gierig wie der ist lol Wink

Caschi · Administrator

also bei uns crawlt der immer wie verrückt nur user kommen net die welt drüber Sad

angler · Advanced-Member

mirago kennt auch kaum einer
Mr. Green

Caschi · Administrator

das ist wohl aber msn, fireball, lycos und co kennen viele da kommt ja auch nett wirklich wer Sad

warten wir mal ab was die so machen und was bei rauskommt o)

Joerg · Moderator

bei mir war heinrich auch gut am wühlen, was mich aber verdutzt, dass ich bei mirago überhaupt nicht mehr zu finden bin Shocked

Caschi · Administrator

also ich glaube den such algo der da verwendet wird ist auf den ersten und zweiten blick nicht zu erkennen...

allerdings glaube ich dass man des zur zeit auch nett muß.
aber wartn wir mal ab was aus dieser suma wird.

grüße

Joerg · Moderator

naja, ich hatte in dem andern thread ja geschrieben, dass ich meine besucherzahlen von metager unter anderen auch auf mirago zurückführ, von daher ist sie nicht völlig unwichtig Smile

. aber ich wart mal ab, wenn sie meine seiten fast komplett spidert, müsste sie die ja wohl auch wieder in den index nehmen Rolling Eyes