KI-Crawler
KI-Crawler sind Bots, mit denen KI-Unternehmen Webinhalte abrufen – entweder um Sprachmodelle zu trainieren oder um Quellen für KI-Antworten zu finden.
Was sind KI-Crawler?
KI-Crawler sind Bots, mit denen KI-Unternehmen Webseiten abrufen. Sie verfolgen zwei sehr unterschiedliche Zwecke – und der Unterschied ist für Ihre Sichtbarkeit entscheidend:
- Trainings-Crawler sammeln Inhalte, um Large Language Models zu trainieren. Beispiele sind GPTBot von OpenAI, ClaudeBot von Anthropic und CCBot von Common Crawl. Google bietet mit dem Token „Google-Extended“ die Möglichkeit, das Training von Gemini auszuschließen, ohne die Google Suche zu beeinflussen.
- Such- und Abruf-Crawler holen Seiten in Echtzeit, um Fragen zu beantworten und sie als Quelle zu nennen – etwa OAI-SearchBot für die ChatGPT-Suche, PerplexityBot oder von Nutzern ausgelöste Abrufe wie ChatGPT-User.
Website-Betreiber steuern den Zugriff über die robots.txt je User-Agent. Viele Unternehmen sperren Trainings-Crawler, lassen Such-Crawler aber zu – wer Letztere blockiert, kann nicht als KI-Quelle genannt werden. Googles AI Overviews und der KI-Modus nutzen den regulären Googlebot; ihn zu sperren, würde die Website komplett aus der Google Suche entfernen.
Praktische Prüfpunkte:
- robots.txt sowie Bot-Einstellungen in Firewall oder CDN prüfen: Manche Sicherheitslösungen blockieren KI-Crawler standardmäßig.
- Sicherstellen, dass wichtige Inhalte im HTML stehen; viele KI-Crawler führen kein JavaScript aus.
- In den Server-Logs nachsehen, welche KI-Crawler die Website besuchen und welche Seiten sie abrufen.
Die robots.txt ist eine Konvention, keine technische Sperre: Seriöse Crawler halten sich daran, andere womöglich nicht.