#Die robots.txt Datei ist nach einem bestimmten Schema aufgebaut. Zuerst gibt man an, f?r welchen Crawler die Anweisungen #gelten und dann die einzelnen Anweisungen. User-agent: * # alle Crawler Disallow: /bilder/ # Bilder nicht downloaden Disallow: /css/ # nicht Disallow: /grafuweb/ # nicht Disallow: /ssl/ # nicht Disallow: /wimps/ # nicht #Mit den einzelnen Disallow Eintr?gen bestimmt man Dateien und Verzeichnisse die nicht indiziert werden sollen. Alles, vor dem #ein # steht, gilt als Kommentar und wird von den Robots ignoriert. # 14:47 22.02.2010
Folgende Keywords wurden erkannt. Überprüfe die Optimierung dieser Keywords für Deine Seite.
(Nice to have)