KI-Sichtbarkeit messen: Erwähnungen, Zitierungen und Geschäftswirkung

Festlegen, was Sie messen wollen

Legen Sie vor der Auswahl der Fragen fest, was Sie herausfinden wollen. Ein B2B-Unternehmen fragt sich vielleicht, ob es auftaucht, wenn ein potenzieller Kunde einen Anbieter sucht. Ein Onlineshop prüft eher, wie seine Produkte in Vergleichen beschrieben werden. Wählen Sie ein Angebot, eine Zielgruppe und einen Markt, damit alle gesammelten Antworten dasselbe Bedürfnis betreffen.

Nehmen wir eine Agentur, die wissen will, ob Onlinehändler in Deutschland sie finden, wenn sie SEO-Unterstützung suchen. Ihre Fragen drehen sich dann um die Agenturauswahl und SEO-Leistungen für Onlineshops. Fragen zu Social-Media-Werbung oder zur internationalen Expansion gehören in eine eigene Untersuchung. Notieren Sie Markenname, Namensvarianten und Website-Domain, damit Sie das richtige Unternehmen erkennen und Firmen mit ähnlichen Namen ausschließen.

Sie können Ihre Marke mit zwei Wettbewerbern vergleichen, die ähnliche Leistungen anbieten, und nach denselben Regeln zählen. Eine Antwort kann mehrere Unternehmen nennen, deshalb kann die Summe der Erwähnungsquoten über 100 % liegen. Ändern Sie Angebot oder Markt, starten Sie eine neue Messreihe, damit Sie keine Suchen vergleichen, die unterschiedlichen Zwecken dienen.

Berichte von Google und Bing nutzen

Öffnen Sie in der Search Console den Leistungsbericht zu generativen KI-Funktionen für die Google Suche. Wählen Sie Zeitraum und Land und sehen Sie sich die Daten nach Seite und Gerät an. Die Dokumentation von Google erklärt die Impressionen der abgedeckten Funktionen, darunter KI-Übersichten und der KI-Modus. Discover hat einen eigenen Bericht. Speichern Sie einen Export oder Screenshot, auf dem Property, Filter und Zeitraum zu sehen sind. Steht der Bericht in Ihrem Konto nicht zur Verfügung, halten Sie diese Einschränkung fest. Fehlende Daten bedeuten nicht null Impressionen.

Öffnen Sie in den Bing Webmaster Tools für denselben Zeitraum AI Performance. Notieren Sie die Gesamtzahl der Zitierungen, die Daten zu den zitierten Seiten und, soweit verfügbar, die Grounding-Abfragen, also die Begriffe, mit denen das System Quellen abgerufen hat. Diese Abfragen sind eine Stichprobe und entsprechen nicht zwingend den Fragen, die Nutzer eingegeben haben.

Die Berichte von Google und Bing können unterschiedliche Angebote abdecken und andere Einheiten verwenden. Bewahren Sie Zeitraum und Kennzahlendefinitionen jedes Berichts bei den Daten auf und addieren Sie keine Impressionen zu Zitierungen. Ändert sich eine Definition, notieren Sie das Datum und prüfen Sie, ob sich frühere Daten noch vergleichen lassen.

Vier Wochen Beobachtung planen

Wählen Sie 6 Fragen und stellen Sie jede in 2 Anwendungen, zweimal pro Woche. Das ergibt 24 Versuche pro Woche und 96 in vier Wochen. Durch die zwei Durchläufe pro Woche sehen Sie, ob dieselbe Frage einige Tage später eine andere Antwort liefert.

1. Zwei Anwendungen wählen

   Nutzen Sie zum Beispiel den KI-Modus von Google und ChatGPT mit Websuche, wenn Sie beide bereits verwenden können. Arbeiten Sie auf Deutsch und mit dem deutschen Markt. Notieren Sie Browser, Gerät, Konto, angezeigten Modellnamen sowie Einstellungen zu Gedächtnis und Personalisierung. Halten Sie diese Bedingungen konstant, damit sich die Durchläufe vergleichen lassen.

2. Sechs Fragen vorbereiten

   Beginnen Sie mit Fragen, die Ihre Kunden, Ihr Vertrieb und Ihr Support stellen. Vergeben Sie die IDs P1 bis P6 und speichern Sie den genauen Wortlaut. Passen Sie die Beispiele unten vorab an Ihr Angebot an und lassen Sie den Wortlaut dann vier Wochen lang unverändert. Fragen, die die Marke bereits nennen, bilden eine eigene Gruppe.

3. Die Fragen an zwei getrennten Tagen stellen

   Sie können zum Beispiel vier Wochen lang dienstags und freitags ungefähr zur selben Uhrzeit arbeiten. An jedem Tag stellen Sie alle sechs Fragen in beiden Anwendungen, insgesamt zwölf Versuche. Starten Sie für jede Frage eine neue Unterhaltung und speichern Sie die erste Antwort, bevor Sie Folgefragen stellen.

4. Jede Antwort samt Quellen speichern

   Warten Sie, bis die Antwort vollständig ist, öffnen Sie die Quellenangaben und speichern Sie Text oder Screenshot mit Datum und Test-ID. Erzeugen Sie eine Antwort neu, halten Sie sie getrennt fest und ersetzen Sie nicht die erste. Auch Fehler gehören ins Protokoll. Wiederholen Sie einen Versuch nach einem Fehler, legen Sie eine neue Zeile an. Kennzeichnen Sie Wiederholungen und nehmen Sie sie aus den geplanten Wochenzahlen heraus.

P1 bis P4 zeigen, ob die Marke auftaucht, ohne dass Sie ihren Namen nennen. P5 und P6 prüfen, wie sie beschrieben wird, wenn die Frage den Namen enthält. Halten Sie diese Gruppen in Ihrer Auswertung getrennt: Mit dem Namen messen Sie etwas anderes.

Beobachten Sie KI-Übersichten und den KI-Modus getrennt. Wenn Sie sich für KI-Übersichten in den normalen Suchergebnissen entscheiden, halten Sie auch fest, wenn keine Übersicht erscheint. Dann gibt es keine KI-Antwort zu prüfen. Verlieren Sie den Zugang zu einer Anwendung, notieren Sie die Unterbrechung. Sie können zur Weiterarbeit auf eine andere wechseln, beginnen dafür aber eine eigene Messreihe.

Antworten, Quellen und Fehler protokollieren

Geben Sie jedem Versuch eine eigene Zeile und eine ID, über die Sie den Beleg wiederfinden. W1-A-P3-R2 steht zum Beispiel für Woche 1, Anwendung A, Frage P3 und den zweiten Durchlauf dieser Woche. Erfassen Sie Datum, Uhrzeit, Zeitzone, Frage, Testbedingungen und den Dateinamen der gespeicherten Antwort. Bewahren Sie eine Kopie des Textes oder einen Screenshot auf: Ein Link zur Unterhaltung kann später unzugänglich werden.

Verwenden Sie E für eine Markenerwähnung, Z für eine Zitierung Ihrer Website und L für einen Link auf diese Quelle. Das sind drei getrennte Zählungen. Prüfen Sie vor einem Vergleich mit den Daten eines Software-Tools, ob dessen Definitionen zu Ihren passen.

Nennt eine vollständige Antwort weder die Marke noch zitiert sie Ihre Website, tragen Sie OK und E=Z=L=0 ein. Scheitert der Test, tragen Sie ERR ein und lassen E, Z und L leer. Bei NA gehen Sie genauso vor. Können Sie einen Verweis nicht prüfen, lassen Sie nur das unsichere Feld leer und begründen Sie das in den Notizen. Nehmen Sie diese Antwort aus der Berechnung der Kennzahl heraus, die Sie nicht prüfen konnten.

Die Quellenangaben und das Quellen-Fenster von ChatGPT können zusätzlich weitere passende Links zeigen. Zählen Sie für Z und L die Verweise, die als Quelle der Antwort dienen. Taucht eine Website nur unter den zusätzlichen Links auf, halten Sie das getrennt fest. Öffnen Sie die zitierte Seite und prüfen Sie, ob sie die Aussage stützt. Die KI zu fragen, ob ihre eigene Antwort stimmt, ersetzt diese Prüfung nicht.

Quoten aus den geprüften Antworten berechnen

Erstellen Sie für jede Anwendung eine Auswertung und trennen Sie dabei Fragen mit Markennamen von Fragen ohne. Berechnen Sie jede Quote nur aus Antworten, bei denen Sie prüfen konnten, ob das Merkmal vorhanden oder nicht vorhanden war, die Nullen eingeschlossen. NA und ERR bleiben in der Gesamtzahl der Versuche, fließen aber nicht in die Quoten für Erwähnung, Zitierung und Link ein. Nennen Sie neben den Prozentwerten die Zahl der vollständigen Antworten.

Jede Antwort zählt pro Kennzahl nur einmal, auch wenn sie zehn Links auf Ihre Website enthält. Um zu verfolgen, welche Seiten zitiert werden, führen Sie eine eigene Liste eindeutiger URLs. Sie zeigt, wie viele verschiedene Seiten vorkommen. Die Zitierquote zeigt, in wie vielen Antworten mindestens eine Quelle von Ihrer Website stammt.

In diesem Beispiel verteilen sich die fünf Erwähnungen in Anwendung A auf vier der sechs Fragen, die Fragenabdeckung liegt also bei 4/6 = 66,7 %. Die Erwähnungsquote beträgt trotzdem 5/11 = 45,5 %, weil sie einzelne Antworten zählt, auch Wiederholungen derselben Frage.

Die Gesamtquote von 36,4 % verdeckt einen großen Unterschied zwischen den beiden Fragengruppen: Die Marke erscheint in 2 von 15 Antworten, wenn die Frage sie nicht nennt, und in 6 von 7, wenn sie sie nennt. Um zu verstehen, wie Menschen die Marke ohne Namensnennung finden könnten, sehen Sie sich zuerst die zwei Erwähnungen und ihre Quellen bei P1 bis P4 an. Die 36,4 % beschreiben die Antworten in Ihrem Protokoll. Sie sagen nicht, wie viele Nutzer die Marke gesehen haben oder welche Plattform mehr Leads bringt.

Veränderungen von Woche zu Woche verstehen

Vergleichen Sie die erste Woche mit den späteren Wochen, mit denselben Fragen, Anwendungen und Regeln. Behalten Sie neben den Prozentwerten die absoluten Zahlen im Blick: Bei 11 Antworten verschiebt eine Erwähnung mehr oder weniger die Quote um etwa 9,1 Prozentpunkte.

Angenommen, die Erwähnungen in Anwendung A steigen von 5/11 auf 7/11. Die Quote wächst von 45,5 % auf 63,6 %, ein Plus von 18,2 Prozentpunkten, vor dem Runden berechnet. Prüfen Sie, welche Antworten sich geändert haben. Stammt eine neue Erwähnung von P5 oder P6 und die andere von P1 bis P4, haben die Fragen ohne Markennamen nur eine Erwähnung hinzugewonnen.

Fehlen in den beiden Wochen unterschiedliche Antworten, vergleichen Sie zusätzlich die Tests, die sich zuordnen lassen. Stellen Sie für Anwendung A die Antwort auf P3 aus dem ersten Durchlauf der Woche 1 der Antwort auf P3 aus dem ersten Durchlauf der Woche 2 gegenüber. Fehlt eine von beiden, nehmen Sie das Paar aus diesem Vergleich heraus. Geben Sie an, wie viele Paare Sie prüfen konnten. Wenn Sie P3 umformulieren, behalten Sie die früheren Ergebnisse und geben Sie der neuen Frage eine andere ID. Ändern sich Modell oder Anwendung, notieren Sie die Änderung und entscheiden Sie, ob Sie einen neuen Vergleich beginnen.

Halten Sie weitere Änderungen im Zeitraum fest: Website-Updates, Produkteinführungen, Berichterstattung über die Marke, Änderungen der Plattformen oder des Trackings. Steigen die Erwähnungen nach einem Update, beweist die zeitliche Abfolge allein nicht, dass das Update die Ursache ist. Fehlende Quellen, Zugriffsprobleme auf die Website oder falsche Angaben untersuchen Sie mit dem Ratgeber zum KI-Sichtbarkeits-Audit.

Zitierungen, Besuche und Anfragen getrennt halten

Prüfen Sie in Ihrer Webanalyse, welche Quellen Sitzungen liefern und auf welchen Seiten die Besucher zuerst landen. Achten Sie auf erkennbare Domains wie chatgpt.com und auf UTM-Parameter in den Links. Testen Sie einen Link auf Ihre Website aus einer KI-Antwort: Er muss die richtige Seite erreichen und seine Parameter behalten. Kennzeichnen Sie diesen Testbesuch, damit Sie ihn aus Ihren Geschäftsergebnissen herausrechnen können.

Halten Sie für jede Quelle Zeitraum, Sitzungen, Landingpages und die Aktionen fest, die Sie messen wollen, etwa relevante Anfragen über Ihr Kontaktformular. Definieren Sie vorab, was als relevant gilt, und prüfen Sie dann im CRM, welche Anfragen dieses Kriterium erfüllen und welche zu Verkaufschancen werden. Lässt sich die Quelle wegen Einwilligungsentscheidungen, Apps, fehlender Referrer oder Gerätewechsel nicht erkennen, lassen Sie die Anfrage oder den Besuch ohne Zuordnung.

Nehmen wir an, Ihre Webanalyse erfasst 20 Sitzungen aus einer KI-Quelle und in 2 davon ein abgeschicktes Formular. Beide Anfragen werden anschließend als relevant bestätigt. Die Quote liegt bei 2/20 = 10 % der erfassten Sitzungen. Diese zwei Anfragen durch die fünf Zitierungen aus dem früheren Beispiel zu teilen, wäre sinnlos: Die Zitierungen stammen aus Antworten, die Sie im Test gesammelt haben, die Sitzungen dagegen sind echte Website-Besuche.

Sie können im Formular optional die Frage „Wie haben Sie von uns erfahren?“ ergänzen. Die Antwort zeigt, woran sich die Person erinnert. Halten Sie sie getrennt von der Quelle in der Webanalyse, denn beide können voneinander abweichen.

Den Zyklus auswerten und nächste Prüfungen festlegen

Sehen Sie nach jedem Durchlauf Fehler und nicht prüfbare Verweise durch. Aktualisieren Sie am Ende jeder Woche die Zahlen je Anwendung und Fragengruppe. Lesen Sie nach vier Wochen die Antworten erneut, die sich verändert oder Ihr Angebot falsch beschrieben haben, und entscheiden Sie, was untersucht werden muss. Sammeln Sie Antworten häufiger, wenn Sie einen Launch begleiten oder rasch prüfen wollen, ob falsche Angaben korrigiert wurden.

Nennen Sie in Ihrer Abschlussauswertung, was Sie wann beobachtet haben, wie viele Versuche OK, NA oder ERR waren und wie Sie die Quoten jeder Gruppe berechnet haben. Verknüpfen Sie jede Zahl mit ihren Test-IDs und weisen Sie Besuche und Anfragen getrennt aus. Legen Sie für jede Folgeprüfung eine verantwortliche Person und ein Datum fest. Wiederholen Sie die Kernfragen im Folgemonat. Wenn Sie neue Fragen ergänzen, werten Sie sie getrennt aus, bis Sie frühere Ergebnisse zum Vergleich haben.

Ihr Protokoll über die vier Wochen nutzen

Speichern Sie den vollständigen Antworttext und die Quellen-URLs in Dateien, die dieselben IDs tragen wie Ihr Protokoll.

Halten Sie vor dem Start Angebot, Zielgruppe, Markt und Fragen fest. Prüfen Sie beim Erstellen der Auswertung, ob OK + NA + ERR der Zahl der Versuche entspricht. Für die Quoten zu Erwähnung, Zitierung und Link verwenden Sie nur Antworten, die Sie prüfen konnten. Bleibt ein Feld unsicher, nehmen Sie es aus dem Nenner dieser Kennzahl heraus und vermerken Sie den Grund.