# Massendownloader draussenbleiben User-agent: wget User-agent: webzip User-agent: webmirror User-agent: webcopy User-agent: EmailCollector User-agent: Spider User-agent: Teleport* User-agent: Webwhacker User-agent: WebDevil User-agent: Net Attache User-agent: SiteSnagger Disallow: / # email Sammler draussenbleiben User-agent: WX_mail/2.000 User-agent: EmailCollector User-agent: WhoWhere User-Agent: Roverbot User-Agent: ActiveAgent User-agent: EmailSiphon Disallow: / # Robots die durchdrehen fliegen raus User-agent: GagaRobot Disallow: / User-agent: * Disallow: /cgi-bin/ Disallow: /image/ Disallow: /Templates/ Disallow: /logs/ Disallow: /*.gif$ Disallow: /*.jpg$ Disallow: /*.pdf$
Folgende Keywords wurden erkannt. Überprüfe die Optimierung dieser Keywords für Deine Seite.
(Nice to have)