Robots.txt
# robots.txt fuer http://www.traumrouten.com/
User-agent: *
Disallow: /phpBB2/ # Im Forum nicht suchen
Disallow: /stats/ # Die ?ndern sich jeden Tag
Disallow: /bilder/ # Bilder nicht downloaden
Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren
Disallow: /afm/ # Bilder aus afm nicht indexieren
Disallow: /backend/ # Backend nicht indexieren
Disallow: /Connections/ # Connections nicht indexieren
Disallow: /divers/
Disallow: /diverses/
Disallow: /downloads/
Disallow: /gps-daten/
Disallow: /hotels/
Disallow: /includes/
Disallow: /menue/
Disallow: /navigation/
Disallow: /navigationneu/
Disallow: /patisserie/
Disallow: /stats/
Disallow: /tabellenlos/
Disallow: /test/
Disallow: /textseiten/
Disallow: /toskanatour2003/
Disallow: /stats-04-02_03-03/
(Nice to have)