Internet Archive.org will künftig Einträge von Robots.txt ignorieren

Internet Archive.orgDas Internet-Archive Archive.org ändert seine Praxis zum Speichern vom Internet und dessen Inhalt, also Webseiten aller Art. Deswegen will Archive.org der Robots.txt-Datei einer Webseite künftig keine Berücksichtigung mehr geben. Grund sei nach Archive.org, dass eine echte Archivierung vom Internet durch eine Nichtspeicherung nicht ginge und somit dem Nutzerinteresse widersprechen würde.

Weiterlesen