# robots.txt for www.base-search.net # last update: 2015-06-03 # Es wird nur die Startseite und die Erweiterte Suche erlaubt! User-Agent: * # Wie oft ein Crowler eine Abfrage senden darf in Sekunden (Angabe 1.5 auch möglich) Crawl-delay: 2 Disallow: /about/ Disallow: /about/backup Disallow: /about/classes Disallow: /about/css Disallow: /about/download Disallow: /about/images Disallow: /about/js Disallow: /about/de/about_sources_date.php Disallow: /about/en/about_sources_date.php Disallow: /blog/base/date/ Disallow: /blog/base/category/ Disallow: /blog/baseoai/date/ Disallow: /blog/baseoai/category/ Disallow: /blog/roller-ui/ Disallow: /conf Disallow: /Crypt Disallow: /Drivers Disallow: /interface Disallow: /js Disallow: /lang Disallow: /RecordDrivers Disallow: /sys Disallow: /xsl Disallow: /services/Ajax Disallow: /services/Browse Disallow: /services/Intern Disallow: /services/MyResearch Disallow: /services/Record Disallow: /services/Records Disallow: /Ajax #Disallow: /Browse Disallow: /Browse/Dewey Disallow: /Browse/Tags Disallow: /MyResearch Disallow: /Record #Bei der Notation: /index , werden sowohl die Datei /index.html als auch das Unterverzeichnis /index/. betroffen. Disallow: /services/Search/Ajax Disallow: /services/Search/Email Disallow: /services/Search/History Disallow: /services/Search/OpenSearch #Disallow: /services/Search/Results Disallow: /services/Search/Suggest Disallow: /services/Search/cache Disallow: /services/Search/xsl Disallow: /Search/Ajax Disallow: /Search/Email Disallow: /Search/History Disallow: /Search/OpenSearch #wegen der Detailseite ist der Zugriff auf die Trefferliste erlaubt (z.Z. Zugriff verboten) Disallow: /Search/Results Disallow: /Search/Suggest Disallow: /Search/cache Disallow: /Search/xsl #Bots, die auf dieses fiktives Verzeichnis unerlaubt zugreifen, sollen mithilfe der Firewall gesperrt werden Disallow: /verboten4bots # unerwuenschte Bots ganz aussperren User-agent: 360Spider User-agent: AcoonBot User-agent: AhrefsBot User-agent: Baiduspider User-agent: ChatGPT User-agent: ChatGLM User-agent: DotBot User-agent: EasouSpider User-agent: ExaBot User-agent: Ezooms User-agent: FemtosearchBot User-agent: GPTBot User-agent: LiteFinder User-agent: ltx71 User-agent: MegaIndex.ru User-agent: MJ12Bot User-agent: Nachobot User-agent: parsijoo User-agent: Scrapy User-agent: SiteBot User-agent: Sogou User-agent: UnwindFetchor User-agent: WBSearchBot User-agent: WebCopier User-agent: WebSpider User-agent: YandexBot User-agent: YisouSpider Disallow: / # Rechtlicher Hinweis: # Das automatisierte Abrufen, Scrapen oder anderweitige Verarbeiten von Daten dieser Website # ohne ausdrückliche Genehmigung ist ausdrücklich untersagt. Verstöße werden rechtlich verfolgt. # Legal notice: # The automated retrieval, scraping or other processing of data from this website # without express permission is expressly prohibited. Violations will be prosecuted.
Se han encontrado las siguientes palabras clave. Comprueba si esta página está bien optimizada para cada palabra clave en concreto.
(Deseable)