Sperrt dein Server die KI aus? So prüfst du es in 15 Minuten
Viele Unternehmen arbeiten gerade an ihrer Sichtbarkeit in ChatGPT und den KI-Übersichten von Google. Dabei geht eine Frage unter, die vor jeder Optimierung kommt. Darf ein KI-Crawler deine Website überhaupt lesen?
Am 5. November 2026 haben wir das an 1000 zufällig gezogenen Websites unabhängiger Maklerbüros aus ganz Deutschland gemessen. 932 davon waren erreichbar. 15,2 Prozent wiesen einen Abruf mit der Kennung von GPTBot ab. In der robots.txt sperrten dagegen nur 2,4 Prozent die Crawler von ChatGPT, Claude oder Perplexity. Die meisten Sperren sitzen also nicht dort, wo man zuerst nachschaut. In diesem Beitrag prüfst du in vier Schritten, ob deine eigene Website betroffen ist. Danach weisst du, an welcher Stelle du eingreifen musst.
Maklerbüros sind dafür ein gutes Testfeld. Es sind kleine Firmen, deren Website meist ein Webdesigner oder eine Branchensoftware betreut, bei einem gewöhnlichen Hoster. So sieht auch die Website vieler KMU aus.

Voraussetzungen
Ein Rechner mit Terminal. Auf macOS und Linux ist curl vorinstalliert, unter Windows nutzt du in der PowerShell curl.exe
Die Adresse deiner Startseite
Für Schritt 3 hilfreich ist ein Zugang zum Hosting-Konto oder ein kurzer Draht zu deinem Webdesigner
Schritt 1. Die robots.txt lesen
Öffne https://deinedomain.ch/robots.txt im Browser. Such nach Gruppen für GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot und Google-Extended. Steht darunter Disallow: /, ist die ganze Website für diesen Crawler gesperrt.
Schau danach auf die Gruppe User-agent: *. Nach dem Standard RFC 9309 gilt für jeden Crawler die Gruppe mit seinem Namen und nur ohne eigene Gruppe die mit dem Stern. Steht unter dem Stern Disallow: /, sind alle Crawler gesperrt, die nicht ausdrücklich erlaubt sind.
Warum das wichtig ist. In unserer Messung stammten 35 der 52 robots.txt-Sperren gegen KI aus der Vorlage einer einzigen Maklersoftware. Sie führt eine Liste erlaubter Suchmaschinen und sperrt alle anderen über den Stern aus. Weitere 8 Sperren kamen aus der robots.txt, die Cloudflare automatisch verwaltet. Mehr als vier von fünf Sperren waren damit Voreinstellungen und keine Entscheidungen.
Schritt 2. Die Startseite einmal als KI-Crawler abrufen
Die robots.txt ist nur eine Bitte an den Crawler. Ob der Server ihn tatsächlich hereinlässt, siehst du erst bei einem echten Abruf. Schick dazu zwei Anfragen an deine Startseite, eine mit der Kennung von GPTBot und eine mit der Kennung eines normalen Browsers.
curl -sL -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; GPTBot; +https://openai.com/gptbot)" https://deinedomain.ch/
curl -sL -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0 Safari/537.36" https://deinedomain.ch/Beide Befehle geben nur den Statuscode aus. Ein 200 heisst, die Seite wurde ausgeliefert. Ein 403, 401, 406, 429 oder 503 bei der GPTBot-Kennung heisst, der Server weist die KI ab. Kommt der Browser im selben Moment mit 200 durch, ist die Sperre gezielt gegen KI gerichtet. Blockt der Server beide Anfragen, filtert er jeden automatischen Abruf.
Ohne Terminal geht es auch im Browser. In den Entwicklertools von Chrome stellst du unter «Netzwerkbedingungen» eine eigene Kennung ein und lädst die Seite neu.
Warum das wichtig ist. In unserer Messung liess bei 8,8 Prozent der Websites der Server den Browser durch und wies die KI-Kennung ab. Weitere 6,4 Prozent blockten jeden automatischen Abruf. Für Besucher sieht die Website in beiden Fällen völlig normal aus.
Schritt 3. Herausfinden, wer sperrt
Hol dir die Antwortkopfzeilen der abgewiesenen Anfrage.
curl -sI -A "Mozilla/5.0 (compatible; GPTBot; +https://openai.com/gptbot)" https://deinedomain.ch/Taucht cf-ray auf oder steht server: cloudflare, sitzt die Regel bei Cloudflare. Cloudflare bietet seit Juli 2025 an, KI-Crawler mit einem Klick auszusperren. Bei neuen Domains fragt Cloudflare das schon bei der Einrichtung ab. Die passende Einstellung findest du im Cloudflare-Konto bei den Optionen zu Bots und KI-Crawlern. Prüf dort auch, ob Cloudflare deine robots.txt verwaltet.
Steht dort ein anderer Server wie Apache oder nginx, liegt die Regel beim Hoster oder auf deinem Webserver. Frag deinen Hoster, ob ein Filter gegen Datensammler aktiv ist. Bei Apache lohnt ein Blick in die .htaccess nach Zeilen mit GPTBot oder ClaudeBot.
Warum das wichtig ist. Von den 142 Websites in unserer Messung, die die KI-Kennung abwiesen, liefen 95 nicht über Cloudflare. Am häufigsten antwortete ein Apache-Server. Wer nur in Cloudflare nachschaut, findet zwei Drittel der Sperren nicht.
Schritt 4. Bewusst entscheiden und festhalten
Nicht jede Sperre ist falsch. Wichtig ist, dass du sie bewusst setzt. Dafür hilft eine Unterscheidung, die OpenAI in seiner Übersicht der eigenen Crawler selbst trifft. GPTBot sammelt Inhalte für das Training. OAI-SearchBot und ChatGPT-User holen Inhalte für die Suche und für konkrete Fragen von Nutzern. Anthropic trennt ähnlich zwischen ClaudeBot für das Training und eigenen Agenten für Suche und Abruf. Google-Extended betrifft die KI-Modelle von Google und nicht die normale Google-Suche.
Wer in KI-Antworten genannt werden will, lässt mindestens die Such- und Abruf-Agenten zu. Wer Training ablehnt, sperrt die Trainings-Crawler namentlich in der robots.txt statt über einen pauschalen Bot-Filter. Schreib die Entscheidung in eine kurze Notiz, damit der nächste Webdesigner sie nicht versehentlich überschreibt.
Fehler und Fixes
Zu oft getestet. Wiederholte Abrufe verschärfen bei vielen Hostern den Schutz. In unserem zweiten Lauf am selben Morgen wiesen 197 statt 147 von 951 Websites die KI-Kennung ab, den Browser 118 statt 78. Werte deshalb den ersten Abruf aus und warte zwischen zwei Tests ein paar Stunden.
Kennung ist nicht Herkunft. Cloudflare und manche Schutzdienste prüfen zusätzlich, ob eine Anfrage wirklich aus dem Netz von OpenAI kommt. Dein Test kann dort anders behandelt werden als der echte Crawler, in beide Richtungen. Wie stark der Standort einer IP-Adresse das Ergebnis prägt, zeigt der TechNovice-Beitrag zu IP-Geolocation (https://www.technovice.net/de/post/ip-geolocation-proxy-standort-pruefen). Eine Regel beim Hoster, die nur die Kennung prüft, trifft den echten Crawler genauso wie deinen Test.
noindex aus der Bauphase. 1,8 Prozent der Startseiten in unserer Messung standen auf noindex. Öffne den Quelltext mit Strg und U und such nach dem Wort. Auf einer fertigen Startseite hat es nichts verloren.
Leere Seite ohne JavaScript. Bei 2,1 Prozent war die Startseite ohne JavaScript fast leer. Lass den ersten curl-Befehl ohne -o /dev/null laufen und such im Ergebnis nach deinem Firmennamen. Fehlt er, sieht ein Teil der Crawler eine weisse Seite.
llms.txt mit Mustertext. 16,6 Prozent der Websites hatten eine llms.txt, bei mehr als der Hälfte davon hatte sie ein Baukasten oder Plugin automatisch erzeugt. Die Datei ist kein offizieller Standard. Steht dort Mustertext, ersetz oder lösch sie.
Fazit
Nach diesen vier Schritten hast du drei Dinge in der Hand.
Du weisst, ob dein Server KI-Crawler abweist und an welcher Stelle die Regel sitzt
Du trennst Training und Suche und hast beides bewusst entschieden
Du vermeidest Fehlalarme, weil du Kennung und Herkunft auseinanderhältst
Als nächsten Schritt trägst du dir den Test zweimal im Jahr in den Kalender ein und wiederholst ihn nach jedem Wechsel von Hoster oder Sicherheits-Plugin. Wenn die Tür offen ist, lohnt der Blick auf die Wirkung. Wie sich Sichtbarkeit in KI-Antworten messen lässt, zeigt der TechNovice-Beitrag KI-Sichtbarkeit messen.
Quellen
H&K Automation, Studie «Sperren Makler die KI aus?», Messung vom 5. November 2026, https://www.hks-automation.de/studie-makler-websites-ki-sperre-2026/
IETF, RFC 9309 Robots Exclusion Protocol, https://www.rfc-editor.org/rfc/rfc9309
OpenAI, Overview of OpenAI Crawlers, https://platform.openai.com/docs/bots
Cloudflare Blog, Content Independence Day, 1. Juli 2025, https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/



