#======================================================================================================================== # Beispiel robots.txt (NN für TYPO3 und Wordpress) (20190205_mr, immer auf Aktualität prüfen!) #======================================================================================================================== ## Mit der folgenden Syntax erlauben Sie ALLEN Suchmaschinen-Robots, ALLE ihren Daten auszulesen: # User-agent: * # Allow: / ## Mit / bestimmen Sie "alle Daten dieses Verzeichnisses und aller Unterverzeichnisse". ## Mit der folgenden Syntax erlauben Sie keinem Suchmaschinen-Robot, auch nur irgendetwas von ihren Daten auszulesen: # User-agent: * # Disallow: / ## Mit / bestimmen Sie "alle Daten dieses Verzeichnisses und aller Unterverzeichnisse". ## Mit der folgenden Syntax nehmen Sie einen bestimmten Robot namens mein-Robot von allen anderen Verboten aus: # User-agent: mein-Robot # Disallow: ## Durch eine fehlende Angabe hinter Disallow: wird alles erlaubt! ## Bestimmte Agents verbieten User-agent: MJ12bot Disallow: / User-agent: 008 Disallow: / User-agent: SemrushBot Disallow: / User-agent: AhrefsBot Disallow: / ## Alle anderen Agents User-agent: * Allow: / # Allow bot to enter ## System Ordner TYPO3 Disallow: /fileadmin/System/ # Exclude only folders with no link from frontend, like templates, css, js. Disallow: /fileadmin/nn_scripts/ # Exclude only folders with no link from frontend, like templates, css, js. Disallow: /cms/ # Nothing to see here Disallow: /t3lib/ # Nothing to see here Disallow: /typo3/ # Nothing to see here Disallow: /typo3_src/ # Nothing to see here Disallow: /typo3conf/ # Nothing to see here Allow: /typo3conf/ext/ Allow: /typo3temp/ #Disallow: /typo3temp/ # Nothing to see here ## Parameter TYPO3 Disallow: /*?id=* # Deaktiviert non-realurl URLs Disallow: /*&type=100 # Deaktiviert Print Seiten Disallow: /*&type=98 # Deaktiviert Print Seiten Disallow: /print/ # Deaktiviert Print Seiten Disallow: /*cHash #Disallow: /*tx_powermail_pi1 # no powermail thanks pages #Allow: /*?id=*&type=841132 #Allow Sitemap ############ ## System Ordner Wordpress #tbc ## Parameter Wordpress #tbc ############ # Eigener Ordner TYPO3/Wordpress ## Domainfcatory mysql Disallow: /sqladmin/ ## Kommentar #Disallow: /beispiel/ ############ Sitemap: http://www.url.de/sitemap.xml #========================================================================================================================
Following keywords were found. You can check the keyword optimization of this page for each keyword.
(Nice to have)