KI-Sichtbarkeit messen: Warum die meisten Messungen falsche Erfolge melden
„Welche TYPO3-Agentur in Tirol könnt ihr empfehlen?“ – solche Fragen landen zunehmend nicht mehr bei Google, sondern bei ChatGPT, Gemini oder Perplexity. Wer dort nicht genannt wird, existiert für diesen Teil der Nachfrage nicht. Also fangen Unternehmen an zu messen: Kommen wir in KI-Antworten vor? Der Markt für Generative Engine Optimization (GEO) beantwortet das mit Tools, Scores und Dashboards. Wir haben es an der eigenen Website über drei Messläufe hinweg selbst durchgezogen – und dabei vor allem gelernt, dass die naheliegende Messmethode systematisch das Falsche misst.
Die Messfalle: Such-API ist nicht Chat-Antwort
Der bequeme Weg, KI-Sichtbarkeit zu prüfen, führt über eine Programmierschnittstelle: Man schickt die Frage an eine Such- oder Modell-API, bekommt eine Antwort zurück und protokolliert, ob die eigene Marke darin vorkommt. Das lässt sich automatisieren, skaliert auf hunderte Fragen und produziert eine schöne Zeitreihe. Genau so haben wir im Juni 2026 angefangen – mit einem Set aus 18 fixen Fragen rund um unsere Kernthemen.
Der Haken: Diese Antwort ist nicht die Antwort, die ein Mensch im Chat-Fenster sieht. Das Chat-Interface arbeitet mit einem anderen Retrieval-Pfad, blendet je nach Frage zusätzliche Quellen ein – bei lokalen Branchenfragen zum Beispiel ein Karten-Widget – und gewichtet Ergebnisse anders. Was über die Schnittstelle als Treffer erscheint, kann im echten Chat schlicht fehlen.
Wir haben das gegengeprüft, indem wir dieselben Fragen zusätzlich manuell in den ausgeloggten Chat-Oberflächen von ChatGPT und Gemini gestellt haben. Ergebnis: Bei drei Themen, für die der automatisierte Lauf im Juli eine Nennung gemeldet hatte, kamen wir in der echten Chat-Antwort in keinem einzigen Fall vor. Drei von drei Erfolgsmeldungen waren Artefakte der Messmethode. Seither gilt bei uns die Regel: Ein Schnittstellen-Ergebnis ist ein Hinweis, kein Beleg. Als Erfolg zählt nur, was im echten Chat nachweisbar ist – mit Zitat aus der Antwort.
Was drei Messläufe an unserer eigenen Website ergeben haben
Die folgende Tabelle zeigt den Stand vom 18. August 2026 aus echten, ausgeloggten Chat-Sitzungen (ChatGPT und Gemini) – keine Schnittstellen-Werte, keine Tool-Scores. Sieben Themen, acht Einzelmessungen. Wo in den Anmerkungen von zwei Läufen die Rede ist, sind die echten Chat-Messungen aus Juli und August gemeint. Der Juli-Lauf lief zweigleisig – über die Schnittstelle für alle Fragen und zusätzlich als echter Chat für einen Teil der Themen; der Juni-Lauf lief ausschließlich über die Schnittstelle. Die drei oben genannten Fehlmeldungen stammen aus dem Schnittstellen-Teil des Juli-Laufs. Wir zeigen das vollständig, also auch die fünf Themen, bei denen wir nicht vorkommen:
Auf schmalen Bildschirmen lässt sich die Tabelle seitlich scrollen.
| Thema der Frage | Genannt? | Beobachtung |
|---|---|---|
| TYPO3-Agentur Tirol / Innsbruck | ja | Bei ChatGPT namentlich auf Platz 1 der Empfehlungsliste, zusätzlich erster Pin im Karten-Widget. Bei Gemini auf Platz 2 von 4. |
| Individualsoftware / Custom-ERP Tirol | ja | Platz 1, mit sachlich korrektem Produktdetail aus unserem Portfolio. Über beide echten Chat-Läufe (Juli, August) stabil, obwohl das genannte Konkurrenzfeld komplett ausgetauscht war. |
| Corporate LLM / lokale KI Österreich | nein | Nicht-Treffer in beiden echten Chat-Läufen. Sechs andere Anbieter genannt, wir an keiner Stelle. |
| n8n-Automatisierung Agentur Österreich | nein | Zwei unabhängige echte Chats (Juli und August) kommen zum selben Ergebnis - obwohl wir zu genau diesem Thema einen Blogartikel mit vollständiger strukturierter Auszeichnung online haben. Vorher über die Schnittstelle als Treffer gemeldet. |
| KI-Agentur Tirol für KMU-Automatisierung | nein | Beide echten Chat-Läufe ohne Nennung. Vier andere Tiroler Anbieter genannt. |
| PWA / Progressive Web App Agentur Österreich | nein | Auch nicht im Karten-Widget - obwohl wir ausgelieferte PWA-Projekte vorweisen können. Vorher über die Schnittstelle als Treffer gemeldet. |
| Intranet / Mitarbeiterportal TYPO3 Österreich | nein | Fünf Anbieter aus Wien, Linz und St. Pölten genannt, keine einzige Tiroler Agentur. Vorher über die Schnittstelle als Treffer gemeldet. |
Zwei von sieben Themen sind stabil sichtbar, fünf gar nicht. Das ist kein angenehmes Ergebnis, aber ein brauchbares: Es sagt uns genau, wo Arbeit liegt – und es sagt uns, dass unsere zwei Kernthemen ohne Zutun eines Tools zuverlässig zitiert werden.
Der unbequeme Befund: Schema allein reicht nicht
Naheliegend wäre die Erklärung: Wir werden dort genannt, wo unsere Seiten vollständig ausgezeichnet sind. In den beiden Antworten, in denen wir vorkommen, ist tatsächlich die jeweilige Leistungsseite als Quelle erkennbar – bei der lokalen ChatGPT-Frage zusätzlich der Google-Business-Eintrag, den das Karten-Widget sichtbar heranzieht. Ein Blogartikel taucht in keiner dieser beiden Antworten als Quelle auf.
Nur trägt diese Erklärung nicht. Unsere Seite zu KI und Automatisierung ist die am vollständigsten ausgezeichnete Seite, die wir haben: FAQ-, Service-, Organisations- und Breadcrumb-Auszeichnung, dazu ein Leistungskatalog, der n8n-Workflow-Automatisierung und Corporate LLM namentlich führt. Das steht seit Ende Juli 2026 live. Genau diese drei Themen – Corporate LLM, n8n, KI-Automatisierung für KMU – sind im August-Lauf Nicht-Treffer. Vollständiges Schema war da, die Nennung kam trotzdem nicht.
Ehrlich formuliert lautet der Befund also: Strukturierte Daten sind bei den Themen vorhanden, bei denen wir zitiert werden – hinreichend sind sie nicht. Was die zwei Treffer zusätzlich auszeichnet, ist etwas, das sich schlechter herbeioptimieren lässt: eine über Jahre gewachsene Belegdichte im Netz zu genau diesen zwei Themen. Wer daraus die Lehre zieht „Schema einbauen, dann kommen die Nennungen“, wird enttäuscht. Wir wären es beinahe selbst geworden – hätten wir nur die Methode gemessen und nicht das Ergebnis.
Eine Messmethode, die man selbst nachbauen kann
Man braucht dafür kein Tool-Abo. Was es braucht, ist Disziplin bei vier Punkten:
1. Ein fixes Fragen-Set, das über Läufe hinweg gleich bleibt. Bei uns sind es 18 Fragen entlang der Themen, zu denen wir gefunden werden wollen – formuliert so, wie ein Interessent sie stellen würde, mit regionalem Bezug. Wer das Set zwischen zwei Läufen ändert, kann nichts vergleichen.
2. Im echten Chat messen, ausgeloggt. Also im Browser, in einem Fenster ohne eingeloggten Account, damit weder Verlauf noch Personalisierung das Ergebnis färben. Das ist Handarbeit und dauert – genau deshalb ist ein kleines, gut gewähltes Set besser als hundert automatisierte Fragen.
3. Wörtlich zitieren, was in der Antwort stand. Nicht „wurden genannt“ protokollieren, sondern das Textfragment. Nur so lässt sich später prüfen, ob eine Nennung prominent war oder eine Randbemerkung – und nur so fällt auf, wenn ein Modell die eigene Firma mit falschen Details beschreibt. Auch das kommt vor und ist ein eigener Handlungsanlass.
4. Einzelmessungen nicht überinterpretieren. KI-Antworten sind nicht deterministisch: Dieselbe Frage kann heute eine andere Reihenfolge liefern als morgen. Bei uns ist eine Position von Platz 1 auf Platz 2 gerutscht – in genau einer Messung. Das haben wir bewusst nicht als Rückgang gewertet, sondern als zu beobachten markiert. Belastbar wird eine Aussage erst, wenn sie sich über mehrere Läufe oder mehrere Kanäle wiederholt.
Realistischer Aufwand: ein bis zwei Stunden pro Lauf für ein Set dieser Größe, alle vier bis sechs Wochen. Das ist billiger als jedes Monitoring-Abo und liefert Belege statt Scores.
Was das für die Optimierung heißt
Aus drei Läufen lassen sich drei Prioritäten ableiten, die vermutlich für die meisten KMU gelten:
Strukturierte Daten auf den Leistungsseiten vervollständigen – als Grundlage, nicht als Versprechen. Die passenden Typen sauber und widerspruchsfrei: Organisation, Leistung, FAQ, Breadcrumb. Bei den Themen, zu denen wir zitiert werden, ist das vorhanden. Garantieren tut es nichts, wie unsere KI-Seite zeigt – aber ohne diese Grundlage fehlt der Maschine überhaupt die verwertbare Beschreibung. Ein Nebeneffekt: Dieselbe Arbeit hilft auch der klassischen Suche, und dort ist die Wirkung belegt.
Den Google-Business-Eintrag ernst nehmen. Bei lokalen Branchenfragen zieht ChatGPT sichtbar das Karten-Widget als Quelle heran. Wer dort in den falschen Kategorien steht, fehlt in genau den Antworten, in denen Kaufabsicht steckt. Kategorien, Leistungen und Beiträge zu pflegen ist Fleißarbeit ohne Entwicklungsaufwand – und einer der wenigen direkt beeinflussbaren Punkte.
Erst messen, dann optimieren – und mit der richtigen Methode messen. Sonst feiert man Erfolge, die es nicht gibt. Das ist uns selbst passiert, dokumentiert und korrigiert. Und man erspart sich die teurere Variante desselben Fehlers: Budget in eine Maßnahme zu stecken, die man für wirksam hält, ohne je geprüft zu haben, ob sie es ist.
Beratungstermin vereinbaren
KI-Sichtbarkeit für Ihr Unternehmen prüfen
Wenn Sie wissen wollen, ob Ihr Unternehmen bei den Fragen genannt wird, die Ihre Kund:innen tatsächlich stellen, machen wir denselben Lauf für Sie: fixes Fragen-Set, echte Chat-Messung mit Zitatnachweis, und daraus eine priorisierte Liste, was auf Ihren Seiten fehlt. Die Umsetzung – strukturierte Daten, Seitenstruktur, technische Auffindbarkeit – machen wir direkt mit, ob auf einer TYPO3-Website oder in einer individuell entwickelten Anwendung. Termin vereinbaren oder uns über das Kontaktformular anfragen.
