Cartechnic.de - SEO Check

Meta Tags

Medienliste

Überschriftenstruktur

Gefundene Links auf dieser Seite

HTTP-Header

Links von Wikipedia

Robots.txt

#========================================================================================================================
# Beispiel robots.txt (NN für TYPO3 und Wordpress) (20190205_mr, immer auf Aktualität prüfen!)
#========================================================================================================================
## Mit der folgenden Syntax erlauben Sie ALLEN Suchmaschinen-Robots, ALLE ihren Daten auszulesen:
# User-agent: *
# Allow: /
## Mit / bestimmen Sie "alle Daten dieses Verzeichnisses und aller Unterverzeichnisse".

## Mit der folgenden Syntax erlauben Sie keinem Suchmaschinen-Robot, auch nur irgendetwas von ihren Daten auszulesen:
# User-agent: *
# Disallow: /
## Mit / bestimmen Sie "alle Daten dieses Verzeichnisses und aller Unterverzeichnisse".

## Mit der folgenden Syntax nehmen Sie einen bestimmten Robot namens mein-Robot von allen anderen Verboten aus:
# User-agent: mein-Robot
# Disallow:
## Durch eine fehlende Angabe hinter Disallow: wird alles erlaubt!

## Bestimmte Agents verbieten
User-agent: MJ12bot
Disallow: / 
User-agent: 008
Disallow: /
User-agent: SemrushBot
Disallow: / 
User-agent: AhrefsBot 
Disallow: / 

## Alle anderen Agents
User-agent: * 
Allow: / # Allow bot to enter 

## System Ordner TYPO3
Disallow: /fileadmin/System/  # Exclude only folders with no link from frontend, like templates, css, js. 
Disallow: /fileadmin/nn_scripts/  # Exclude only folders with no link from frontend, like templates, css, js. 
Disallow: /cms/ # Nothing to see here 
Disallow: /t3lib/ # Nothing to see here 
Disallow: /typo3/ # Nothing to see here 
Disallow: /typo3_src/ # Nothing to see here 
Disallow: /typo3conf/ # Nothing to see here 
Allow: /typo3conf/ext/
Allow: /typo3temp/
#Disallow: /typo3temp/ # Nothing to see here 

## Parameter TYPO3
Disallow: /*?id=* # Deaktiviert non-realurl URLs
Disallow: /*&type=100 # Deaktiviert Print Seiten
Disallow: /*&type=98 # Deaktiviert Print Seiten
Disallow: /print/ # Deaktiviert Print Seiten
Disallow: /*cHash
#Disallow: /*tx_powermail_pi1    # no powermail thanks pages
#Allow: /*?id=*&type=841132 #Allow Sitemap

############

## System Ordner Wordpress
#tbc

## Parameter Wordpress
#tbc

############

# Eigener Ordner  TYPO3/Wordpress
## Domainfcatory mysql
Disallow: /sqladmin/
## Kommentar
#Disallow: /beispiel/


############

Sitemap: http://www.url.de/sitemap.xml

#========================================================================================================================

Suchvorschau