Internet Archive.org will künftig Einträge von Robots.txt ignorieren

Internet, WebdesignKommentieren

Internet Archive.orgDas Internet-Archive Archive.org ändert seine Praxis zum Speichern vom Internet und dessen Inhalt, also Webseiten aller Art. Deswegen will Archive.org der Robots.txt-Datei einer Webseite künftig keine Berücksichtigung mehr geben. Grund sei nach Archive.org, dass eine echte Archivierung vom Internet durch eine Nichtspeicherung nicht ginge und somit dem Nutzerinteresse widersprechen würde.

Archive.org ist ein gemeinnütziges Internet Projekt, welches sich zur Aufgabe gemacht hat, bedeutenden Internet-Inhalt zu speicher und archivieren. Wie Suchmaschinen durchsucht Archive.org das Internet und berücksichtigte bis jetzt, was Webseitenbetreiber und -Inhaber in der Robots.txt eintragen – z.B. keine Archivierung oder Durchsuchen von Suchmaschinen.

Robots.txt versus Nutzer

Laut dem Blog von Archive.org hätte man festgestellt, über die Jahre, dass Einschränkungen durch Robots.txt nicht den archivarischen Zielen des Projekts dienlich sind. In der Vergangenheit hätten diese Einträge auf archivierten Webseiten regelmäßig dazu geführt, dass Webseiten auch aus der Wayback Machine von Archive.org entfernt wurden.

In letzter Zeit hätte das Projekt diese Praxis schon bei Webseiten der US-Regierung eingesetzt. Diese Praxis wäre für die Nutzer ein großer Vorteil. Deswegen hat sich Archive.org dazu entschlossen, diese Praxis nun auf das ganze Internet fortzuführen.



Dimito.de per RSS-Feed


Copyright unter Creative Commons-Lizenz 2003-2023 by | Kontakt | Mediadaten | Sitemap

Anmelden