Google sperrt fremde Suchmaschinen aus

29. März 2002, 11:58
posten

19 Zonen der eigenen Webseite für die Konkurrenz verschlossen

Die Betreiber von Google schätzen es offensichtlich selbst nicht sehr von anderen Suchmaschinen indiziert zu werden. Eine neue robots .txt-Datei soll die im Web herumschwirrenden Bots von anderen Betreibern davon abhalten, gewisse Teile des Angebots von Google in ihren Index aufzunehmen. Davon betroffen sind unter anderem das Nachrichten- und das Yahoogroups-Archiv.

Belastend

Auch wenn die Vermutung nahe liegt, dass Google damit einfach nur die Exklusivität seiner Angebote wahren will, haben die Betrieber selbst eine andere Erklärung parat: Die momentan bereits 284 Bots die durch das Internet unterwegs sind, um es für die verschiedenen Suchmaschinenhersteller zu indizieren, würden die Server von Google zu sehr belasten.

Plan

Die robots.txt-Datei ist gedacht um solchen Bots zu sagen welche Teile einer Webpage nicht durchsucht werden sollen, nicht alle Betreiber halten sich aber auch an diese Richtlinie: Google selbst kam erst vor kurzem in die Schlagzeilen (der Webstandard berichtete), da die eigenen Bots die Angaben bei der Suche nach verschlüsselten https-Seiten ignoriert haben. (red)

Share if you care.