Crawler & KI
Was Suchmaschinen und KI-Agenten auf deiner Website lesen
Suchmaschinen, KI-Assistenten und Agenten lesen deine Website anders als Menschen. Ich prüfe, was sie sehen, was sie nehmen dürfen und wie deine Website gezielt nützliche Daten anbieten kann.
Wann es Zeit ist
Kommt dir bekannt vor?
- KI-Antworten nennen deine Website selten oder bringen die Fakten durcheinander
- Du willst entscheiden, welche KI-Crawler deine Inhalte nutzen dürfen
- Strukturierte Daten fehlen oder bestehen nur aus Plugin-Voreinstellungen
- KI-Agenten sollen mit deinem WordPress arbeiten, aber sicher
Das Audit
Was ich prüfe.
Remote und nur lesend. Du bekommst einen schriftlichen Bericht mit jedem Befund, seinem Risiko und dem Aufwand für die Behebung.
- robots.txt, Sitemaps und wie Crawler gesteuert werden
- Regeln für KI-Crawler: welche du zulässt, welche du sperrst
- llms.txt: ein kurzer Wegweiser durch deine Website für Sprachmodelle
- Strukturierte Daten (schema.org) und ob sie zum sichtbaren Inhalt passen
- Titel, Beschreibungen und Canonical-URLs, auch über Sprachen hinweg
- Inhalte, die erst mit JavaScript erscheinen
- WordPress Abilities und MCP: was Agenten auf deiner Website tun könnten, mit welchen Rechten
Du kannst mit dem kostenlosen Check anfangen, der schon die robots.txt samt Sitemap und ob es eine llms.txt gibt prüft. Er dauert ein paar Sekunden und braucht keinen Zugang.
Der Fix-Sprint
Was ein Sprint typischerweise schließt.
Fester Umfang und Preis, vereinbart, bevor wir anfangen. Jede Änderung kommt als Pull Request, den du prüfst und mergst.
- Eine robots.txt und KI-Crawler-Regeln, die deine Entscheidung abbilden
- Eine llms.txt pro Website, gepflegt in WordPress
- Saubere strukturierte Daten für deine wichtigsten Seitentypen
- Abilities für Agenten: zuerst nur lesend, mit klaren Rechten
FAQ
Fragen, die mir oft gestellt werden.
Garantiert eine llms.txt Sichtbarkeit in KI-Antworten?
Nein. Sie ist ein vorgeschlagener Standard, und nicht jedes KI-System liest sie. Sie kostet wenig und hilft den Systemen, die sie lesen.
Sollen wir KI-Crawler sperren?
Das ist eher eine geschäftliche als eine technische Entscheidung. Ich zeige dir, wer deine Website crawlt und was jede Option bedeutet. Dann entscheidest du.
Was sind WordPress Abilities?
Eine API in WordPress Core, die beschreibt, was eine Website kann, in einer Form, die KI-Agenten verstehen. Der kostenlose Check auf dieser Website ist eine solche Ability. Ich kenne die Details also aus erster Hand.
Erzähl mir von deiner Website.
Ein paar Zeilen reichen: was die Website macht, wo sie gehostet ist und was dich an ihr stört. Wenn du als Webdesigner für einen Kunden fragst, schreib das einfach dazu. Ich antworte persönlich, und wenn ich finde, dass du kein Audit brauchst, sage ich dir das.