Leset!p · Nachruf: Abschied von robots.txt (1994-2025)

Christian Spaan 16.10.2025 Digitale Souveränität

Das freiwillige Compliance-Protokoll, das das Internet zivilisierte, ist von uns gegangen. Es verabschiedet sich Henning Fries.

Mit tiefer Trauer geben wir das Ende von robots.txt bekannt, der bescheidenen Textdatei, die dreißig Jahre lang als stille Wächterin der digitalen Höflichkeit diente. Geboren am 1. Februar 1994 aus der Not heraus, als Martijn Kosters Server unter einem fehlerhaften Crawler namens "Websnarf" zusammenbrach, verstarb robots.txt im Juli 2025, nicht durch Cloudflares Hand, sondern an den Folgen systematischer Missachtung durch KI-Konzerne. Cloudflares Entscheidung, KI-Crawler standardmäßig zu blockieren, markierte lediglich den Moment, in dem auch der letzte große Infrastruktur-Anbieter das Vertrauen in freiwillige Compliance aufgab und zu technischer Durchsetzung überging – ein letzter Akt der Verzweiflung, der das Ende einer Ära markierte. Wie bei allen bedeutsamen Verlusten brauchte es Zeit, bis das volle Ausmaß dieser digitalen Tragödie begriffen wurde.

s3n🧩net wünscht viel Vergnügen