User-agent: ia_archiver Disallow: / User-agent: * Allow: / Disallow: /leden/ Crawl-delay: 10 Request-rate: 1/10 # maximum rate is one page every 10 seconds Visit-time: 0100-0445 # only visit between 1:00 AM and 4:45 AM UT (GMT)
Folgende Keywords wurden erkannt. Überprüfe die Optimierung dieser Keywords für Deine Seite.
(Nice to have)