robots.txt - warum und wie gehts?
robots.txt - warum und wie gehts?
Hallo ins Forum, mancher findet in seinem Logprotokoll oder auch neuerdings bei Google Sitemaps Beta unter nichtgefundenen Dateien eine robots.txt. Wozu ist diese Seite, weshalb wird herumgemäkelt?Suchmaschinen lassen zur Erweiterung und Aktualisierung ihres Datenbestandes im Internet ständig durch ihre Robots, Spider und Crawler nach Informationen suchen. Dabei werden bereits angemeldete Seiten, aber auch Neuerscheinungen über Links von anderen, bereits bekannten Seiten oder Sitemaps "besucht". Sie nehmen dabei alles auf, was sie irgendwie im Internet erreichen und finden können.Es gibt aber sicher bei jedem auch Seiten, die nicht unbedingt in Google und Co. gelistet werden sollen. Das können vertrauliche geschäftliche oder rein persönliche Informationen, Account-Daten, Logprotokolle, gebührenpflichtige Informationen, noch nicht komplett erstellte Seiten, dynamische Seiten mit der Gefahr des "Doppelten Content", aber auch einfach Seiten oder Dateien sein, die eben nicht jeder Fremde einsehen oder nutzen soll.
robots.txt - warum und wie gehts?
