# robots.txt f?r http://www.olaf-bitter.de # # Mit User-agent: BeispielRobot bestimmt man, da? die Anweisungen nur f?r den Crawler BeispielRobot gelten. # Mit den einzelnen Disallow Eintr?gen bestimmt man Dateien und Verzeichnisse die nicht indexiert werden sollen. # Alles, vor dem ein # steht, gilt als Kommentar und wird von den Robots ignoriert. # # Wenn man mit einem Mal alle Crawler ausschlie?en will, benutzt man den sog. Wildchar *, also:User-Agent: * # Massendownloader vom CGI Verzeichnis fernhalten User-agent: * Disallow: /cgi-bin/ Disallow: /css/ Disallow: /jscript/ Disallow: /images/ Disallow: /log/ Disallow: /stat/ Disallow: /bew/ Disallow: /privat/res/
Following keywords were found. You can check the keyword optimization of this page for each keyword.
(Nice to have)