Show your SEO score to your visitors using the Seobility widget. The widget always displays the current SEO score of your homepage.
# Beispiel einer robots.txt # Datei ROBOTS.TXT wird von Spidern oder Robots auf dem Account gesucht wenn Sie Ihre Webseiten bei einem MetaCrawler/Spider eingetragen haben, so wird die robots.txt automatisch von diesem Suchmaschinen-Robot beim Besuch Ihrer Webseiten durchsucht! Ist sie nicht zu finden dann werden ggf. all Ihre Verzeichnisse ausgelesen und indiziert und gelistet. # Spider oder Robots durchsuchen das Internet bzw. angemeldete Accounts in regelm?ssigen Abst?nden, um zu pr?fen ob die Accounts noch existieren oder sich etwas ge?ndert hat bei Ihrem Webangebot, um u.a. die Aktualit?t der Suchmaschinen-Datenbanken aufrecht zu erhalten. # Eine Einladung zum Besuch des Robots erfolgt meist durch Meta-Tag-Angaben im Header Ihrer Webseite, wie: # <meta name="robots" content="index"> # <meta name="robots" content="follow"> # <meta name="robots" content="all"> # <meta name="revisit-after" CONTENT="30 days"> # Zeilen in dieser robots.txt die mit einer "#" versehen sind, werden vom Robot nicht abgearbeitet bzw. ignoriert! # Hier k?nnen Sie mit dem "Disallow:" weitere Verzeichnisse direkt sch?tzen # die nicht vom Suchmaschinen-Robots gelistet werden sollen oder indiziert als Eintrag in # der Suchmaschine User-agent: * Disallow: /cgi-bin/ Disallow: /usage/ Disallow: /logs/ # z.b. Disallow: /mein-nicht-angezeigtes-verzeichnis/ # Hier k?nnten noch folgende Einschr?nkungen gemacht werden! # User-agent: Scooter # Disallow: /
Following keywords were found. You can check the keyword optimization of this page for each keyword.
Please select one of the following options for your request.
None of these options suit your need?
You can also download our Quick Start Guide, visit the FAQ section, our Knowledge Base or Blog.
Meta Title
(Nice to have)