User-agent: Googlebot Allow: /?* User-agent: Baiduspider Allow: /?* User-agent: YandexBot Allow: /?* User-agent: ichiro Allow: /?* User-agent: sogou spider Allow: /?* User-agent: Sosospider Allow: /?* User-agent: YoudaoBot Allow: /?* User-agent: YetiBot Allow: /?* User-agent: bingbot Crawl-delay: 2 Allow: /?* User-Agent: Yahoo! Slurp Crawl-delay: 2 Allow: /?* User-agent: rdfbot Allow: /?* User-agent: Seznambot Request-rate: 1/2s Allow: /?* User-agent: ia_archiver Disallow: User-agent: Mediapartners-Google Disallow: User-agent:* Allow:/
Folgende Keywords wurden erkannt. Überprüfe die Optimierung dieser Keywords für Deine Seite.
(Nice to have)