User-agent: * Disallow: /cgi-bin/ Disallow: /logs/ Disallow: /statistik/ Disallow: /usage/ # Fiese Sauger bleiben drau?en! User-agent: Teleport* Disallow: / User-agent: Webwhacker* Disallow: / User-agent: Webzip* Disallow: / User-agent: Net Attache* Disallow: / User-agent: SiteSnagger* Disallow: / User-agent: HTTrack* Disallow: / User-agent: WebCapture* Disallow: / User-agent: WebSauger* Disallow: / User-agent: WebReaper* Disallow: / User-agent: Roverbot* Disallow: / # Verz?gerung f?r den Yahoo! Crawler Slurp, um zu heftiges crawlen zu unterbinden! User-agent: Slurp Crawl-delay: 20
Folgende Keywords wurden erkannt. Überprüfe die Optimierung dieser Keywords für Deine Seite.
(Nice to have)