# =================================== # Folgende Seiten sollen nicht indexiert werden: # =================================== User-agent: * Disallow: /admin/ Disallow: /cgi-bin/ Disallow: /temp/ Disallow: /testpages/ Disallow: /wp-admin/ # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: baiduspider Disallow: / # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: nutch Disallow: / # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: cityreview Disallow: / # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: WebReaper Disallow: / # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: WebCopier Disallow: / # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: Offline Explorer Disallow: / # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: HTTrack Disallow: / # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: Microsoft.URL.Control Disallow: / # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: EmailCollector Disallow: / # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: penthesilea Disallow: / # Block Exabot User-agent: Exabot Disallow: / # Block PathDefender User-agent: PathDefender Disallow: / # Block Goodzer User-agent: Goodzer Disallow: / # Block MegaIndex.ru User-agent: MegaIndex.ru/2.0 Disallow: / # Block Ezooms User-agent: Ezooms Disallow: / # Block Baiduspider User-agent: Baiduspider Disallow: / User-agent: MJ12bot Disallow: / User-agent: Vagabondo Disallow: / User-agent: Yandex Disallow: / User-agent: BSpider Disallow: / # Block common cralwers: User-agent: voltron Disallow: / # Some weird backlink checker (webmeup.com) User-agent: BLEXBot Disallow: / # Another backlink crawler User-agent: linkdexbot/2.0 Disallow: / # Another backlink crawler (https://ahrefs.com/robot) User-Agent: AhrefsBot Disallow: / # Another one. User-Agent: GetintentCrawler Disallow: / User-agent: Cliqzbot Disallow: / User-agent: MJ12bot Disallow: / User-agent: Mail.RU_Bot Disallow: / User-agent: VegeBot Disallow: / Crawl-delay: 30 User-agent: "Vegi bot (we follow your robots.txt settings before crawling, you can slow down the bot by change the Crawl-Delay parameter in the settings.if you have an enquiry, please email to: [email protected])" Disallow: / Crawl-delay: 30 User-agent: adbeat_bot Disallow: / User-agent: Jooblebot Disallow: / # BEGIN W3TC ROBOTS User-agent: * Disallow: /wp-content/cache/ # END W3TC ROBOTS
Folgende Keywords wurden erkannt. Überprüfe die Optimierung dieser Keywords für Deine Seite.
(Nice to have)