KI-Crawler
KI-Crawler sind die automatischen Agenten, die Webseiten im Auftrag von KI-Systemen abrufen, und sie sind keine einheitliche Familie: Die einen sammeln Material zum Training von Modellen, die anderen holen Quellen, um eine Frage zu beantworten, die gerade gestellt wird.
Sie als eine Gruppe zu behandeln ist der teuerste Fehler in diesem Feld, denn die Regel, mit der Sie Ihre Inhalte aus einem Trainingskorpus heraushalten, kann Sie zugleich aus den Antworten entfernen, in denen Sie erscheinen wollten.
Was unterscheidet einen Trainings-Crawler von einem Antwort-Crawler?
OpenAI dokumentiert drei Bots, und sie tun Verschiedenes. GPTBot sammelt Inhalte, die zum Training von Foundation-Modellen verwendet werden können. OAI-SearchBot existiert, damit Websites in den Suchergebnissen von ChatGPT auftauchen. ChatGPT-User ruft eine Seite auf, weil eine Person gerade etwas gefragt hat, das sie braucht.
Nur der erste hat mit Training zu tun. Die anderen beiden sind der Weg, auf dem Sie zitiert werden, und sie werden über getrennte Regeln in Ihrer robots.txt gesteuert. Andere Anbieter ziehen dieselbe Linie mit eigenen Namen.
Was passiert, wenn Sie GPTBot sperren?
Sie halten Ihre Inhalte aus diesem Trainingskorpus heraus, was eine legitime Entscheidung ist und für manche Verlage die richtige. Was Sie damit nicht erreichen, ist zu verhindern, dass KI Sie zitiert, denn Zitate kommen von den Such-Bots und den nutzerausgelösten Bots, die anderen Regeln folgen.
Der umgekehrte Fehler ist häufiger und schädlicher: eine pauschale Regel, die alles mit dem Wort Bot sperrt, geschrieben von jemandem, der sich vor Training schützen wollte, und die die Antwort-Crawler mitnimmt. Die Website verschwindet aus den Antworten, und niemand bringt beides zusammen.
Die versehentliche Variante sehen wir ständig. Von den 321 Websites unserer eigenen Kalibrierungsstichprobe lieferten 51 eine Firewall-Sperre, bevor die robots.txt überhaupt gelesen wurde: 16 % der Stichprobe, verschlossen für einen Crawler, dessen Regeln nie zur Sprache kamen.
Wie unterscheidet man sie?
Drei Prüfungen, in dieser Reihenfolge. Die ersten beiden dauern Minuten, und bei der dritten entdecken die meisten Websites das Problem, von dem sie nichts wussten.
- Die veröffentlichte Dokumentation der Anbieter lesen: Alle benennen ihre Bots und sagen, wofür jeder da ist.
- Ausdrückliche Regeln je Agent in die robots.txt schreiben. Ein ausdrückliches Allow teilt Absicht mit; eine fehlende Regel teilt nichts mit.
- Nachsehen, was Firewall oder CDN tun, denn sie können einen Crawler sperren, bevor die robots.txt überhaupt gelesen wird, und sie sagen es Ihnen nicht.
Worauf stützt sich das?
Die Dokumentation der Anbieter selbst und die Norm, die regelt, wie die Regeln gelesen werden. Alle drei sind öffentlich und kostenlos.
- Dokumentation der OpenAI-Crawler
Benennt GPTBot, OAI-SearchBot und ChatGPT-User und sagt, wofür jeder da ist. Es ist der klarste veröffentlichte Beleg dafür, dass Trainieren und Antworten getrennte Aufgaben sind.
- RFC 9309, das Robots Exclusion Protocol
Klärt, wie eine robots.txt gelesen wird, einschließlich: Das längste passende Muster gewinnt, und bei Gleichstand gewinnt Allow. Fast alle versehentlichen Sperren sind ein Missverständnis genau davon.
- Die llms.txt-Konvention
Was Sie einem Agenten anbieten, nachdem Sie ihn hereingelassen haben. Erlaubnis und Orientierung sind zwei Probleme und werden oft verwechselt.
Häufige Fragen zu KI-Crawler
Verhindert das Sperren von GPTBot, dass KI mich zitiert?
- Nein. GPTBot sammelt Trainingsmaterial, während Zitate von den Such-Crawlern und den nutzerausgelösten Crawlern kommen, die eigenen Regeln folgen. Den einen zu sperren und die anderen nicht ist eine stimmige Haltung: aus dem Trainingskorpus heraus und als Quelle verfügbar bleiben.
Sollte ich KI-Crawler sperren?
- Das hängt davon ab, was Sie verkaufen. Ist Ihr Geschäft der Inhalt selbst, lässt sich sein Heraushalten aus einem Trainingskorpus gut begründen. Ist Ihr Geschäft, gefunden zu werden, nimmt das Sperren der Antwort-Crawler Sie von dem Ort, an dem Ihre Kunden gerade fragen — und die meisten Pauschalregeln tun genau das versehentlich.