#FuW Die Analyse robots.txt 16.10.2018 User-agent: Yahoo! Slurp Crawl-delay: 10 User-agent: bingbot Crawl-delay: 20 User-agent: CCBot Crawl-delay: 60 User-agent: msnbot Crawl-delay: 10 User-agent: Nutch Disallow: / User-agent: Qwantify Disallow: / User-agent: trendkite-akashic-crawler Disallow: / User-agent: JamesBOT Disallow: / User-agent: BUbiNG Disallow: / User-agent: SemrushBot Disallow: / User-agent: dotbot Disallow: / User-agent: AhrefsBot Disallow:/ User-agent: Cliqzbot Disallow:/ User-agent: spbot Disallow:/ User-agent: MJ12bot Disallow: / User-agent: NTENTbot Disallow: / User-agent: SocialRankIOBot Disallow: / User-agent: Mediatoolkitbot Disallow: / User-agent: Companybook Crawler Disallow: / User-agent: Domain Re-Animator Bot Disallow: / User-agent: Mail.RU_Bot Disallow: /
Folgende Keywords wurden erkannt. Überprüfe die Optimierung dieser Keywords für Deine Seite.
(Nice to have)