Deepbot
Inhaltsverzeichnis
Definition
Deepbot ist ein älterer Begriff für einen Crawler von Google, der im Internet Websites durchsucht. In den frühen 2000er Jahren waren SEOs und Webmastern zwei verschiedene Crawler bekannt. Einer davon war Deepbot. Der Bot crawlte bis in die tiefsten Ebenen einer Website und folgte dabei jedem verfügbaren Link. Der andere Crawler nannte sich Freshbot und war auf Änderungen von Seiten sowie auf neue Seiten & Ressourcen fokussiert. Seitdem hat Google seine Crawler unzählige Male optimiert, um die Crawling-Frequenz und Effizienz permanent zu verbessern und so eine Erweiterung des Index und eine Verbesserung der Ergebnisse zu gewährleisten. Der Begriff Deepbot wird deshalb mittlerweile sehr viel seltener genutzt als zur Zeit seiner Entdeckung.
Die Funktionsweise von Deepbot
Deepbot war der Name eines von Google genutzten Crawlers. Ein Crawler, auch als Bot oder Spider bezeichnet, ist eine Software zum Navigieren und Dokumentieren von Websites. Er bewegt sich im Internet von Seite zu Seite, indem er Links folgt. Dabei erstellt der Bot eine Art Momentaufnahme jeder Seite. Man ging davon aus, dass Deepbot sich durch eine Website arbeitete, indem er jedem Link auf einer Seite folgte. Diese Theorie bestätigten Webmaster anscheinend dadurch, dass sie einen Reverse DNS Lookup durchführten und dabei die Serverprotokolle prüften. So konnten sie feststellen, ob es sich um einen Crawler von Google handelte und welche Seiten der Bot besucht hatte. Deepbot war wahrscheinlich darauf ausgerichtet, auf der Website so viele Seiten wie möglich zu crawlen, ohne dabei Aspekte wie Aktualität zu berücksichtigen.
Deepbot vs. Freshbot
Sowohl Deepbot als auch Freshbot waren Googlebots zum Crawling von Websites. Allerdings verhielten sich beide sehr unterschiedlich, wodurch viele SEOs und Webmaster sie voneinander unterscheiden konnten.
Deepbot
Deepbot war ein Bot, mit dem Google eine komplette Website crawlte. Der Googlebot ging die Seite durch und folgte jedem Link, den er finden konnte, um einen vollständigen Überblick der Websitearchitektur zu erhalten.
Freshbot
Freshbot war ein Googlebot, der sehr viel mehr Wert auf Aktualität legte. Er suchte nach aktuellem Content und man konnte sehen, wie der Bot Websites – je nachdem wie oft der Seite neuer Content hinzugefügt wurde – mehr oder weniger regelmäßig crawlte.
Aktueller Stand
Die Begriffe “Freshbot” und “Deepbot“ sind im SEO-Bereich und in der Marketing-Community kaum noch geläufig. Google hat seit 2002/2003, als beide Begriffe noch häufig genutzt wurden, viel an der Art und Weise des Crawlings und der Indizierung von Seiten geändert. Es gibt momentan einige verschiedene Googlebots, die durch Google bestätigt wurden und die sich überwiegend auf die verschiedenen von Google betriebenen Suchmaschinen konzentrieren.
Screenshot eines Abschnittes einer Tabelle von developers.google.com, die weitere Informationen zu einigen der wichtigsten, von Google aktuell genutzten Crawlern liefert.
Relevanz für SEO
Bei der Suchmaschinenoptimierung einer Website ist es wichtig zu berücksichtigen, wie Google beim Crawling vorgeht. Da das Crawling einen wichtigen Teil der Indizierung ausmacht, kann das Verständnis, wie Google Crawler arbeiten, und die entsprechende Optimierung einer Website bei SEO Maßnahmen im Marketing helfen.
Die Optimierung von Websites für Google Crawler ist heute immer noch wichtig, obwohl sich die Methoden mit der Zeit geändert haben. Heutzutage gelten Pagespeed, Aktualität des Contents, Backlinks und diverse andere Faktoren als Top-Faktoren für die Optimierung für Suchmaschinen Crawler. Diese Optimierungen wiederum helfen Deiner Website, von Suchmaschinen gefunden und indiziert zu werden.
Weiterführende Links
- http://www.at-web.de/google/freshbot/
- https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers
Ähnliche Artikel
| Über den Autor |
 |