# robots.txt for www.base-search.net # last update: 2015-06-03 # Es wird nur die Startseite und die Erweiterte Suche erlaubt! User-Agent: * # Wie oft ein Crowler eine Abfrage senden darf in Sekunden (Angabe 1.5 auch möglich) Crawl-delay: 2 Disallow: /about/ Disallow: /about/backup Disallow: /about/classes Disallow: /about/css Disallow: /about/download Disallow: /about/images Disallow: /about/js Disallow: /about/de/about_sources_date.php Disallow: /about/en/about_sources_date.php Disallow: /blog/base/date/ Disallow: /blog/base/category/ Disallow: /blog/baseoai/date/ Disallow: /blog/baseoai/category/ Disallow: /blog/roller-ui/ Disallow: /conf Disallow: /Crypt Disallow: /Drivers Disallow: /interface Disallow: /js Disallow: /lang Disallow: /RecordDrivers Disallow: /sys Disallow: /xsl Disallow: /services/Ajax Disallow: /services/Browse Disallow: /services/Intern Disallow: /services/MyResearch Disallow: /services/Record Disallow: /services/Records Disallow: /Ajax #Disallow: /Browse Disallow: /Browse/Dewey Disallow: /Browse/Tags Disallow: /MyResearch Disallow: /Record #Bei der Notation: /index , werden sowohl die Datei /index.html als auch das Unterverzeichnis /index/. betroffen. Disallow: /services/Search/Ajax Disallow: /services/Search/Email Disallow: /services/Search/History Disallow: /services/Search/OpenSearch #Disallow: /services/Search/Results Disallow: /services/Search/Suggest Disallow: /services/Search/cache Disallow: /services/Search/xsl Disallow: /Search/Ajax Disallow: /Search/Email Disallow: /Search/History Disallow: /Search/OpenSearch #wegen der Detailseite ist der Zugriff auf die Trefferliste erlaubt (z.Z. Zugriff verboten) Disallow: /Search/Results Disallow: /Search/Suggest Disallow: /Search/cache Disallow: /Search/xsl #Bots, die auf dieses fiktives Verzeichnis unerlaubt zugreifen, sollen mithilfe der Firewall gesperrt werden Disallow: /verboten4bots # unerwuenschte Bots ganz aussperren User-agent: 360Spider User-agent: AcoonBot User-agent: AhrefsBot User-agent: Baiduspider User-agent: ChatGPT User-agent: ChatGLM User-agent: DotBot User-agent: EasouSpider User-agent: ExaBot User-agent: Ezooms User-agent: FemtosearchBot User-agent: GPTBot User-agent: LiteFinder User-agent: ltx71 User-agent: MegaIndex.ru User-agent: MJ12Bot User-agent: Nachobot User-agent: parsijoo User-agent: Scrapy User-agent: SiteBot User-agent: Sogou User-agent: UnwindFetchor User-agent: WBSearchBot User-agent: WebCopier User-agent: WebSpider User-agent: YandexBot User-agent: YisouSpider Disallow: /
Se han encontrado las siguientes palabras clave. Comprueba si esta página está bien optimizada para cada palabra clave en concreto.
(Deseable)