Jak mierzyć widoczność w AI: wzmianki, cytowania i wpływ na biznes

Ustal, co chcesz mierzyć

Zanim wybierzesz pytania, zdecyduj, czego chcesz się dowiedzieć. Firmę B2B może interesować, czy pojawia się w odpowiedziach, gdy potencjalny klient szuka dostawcy. Sklep internetowy sprawdzi raczej, jak jego produkty są opisywane w porównaniach. Wybierz jedną ofertę, jedną grupę odbiorców i jeden rynek, żeby wszystkie zebrane odpowiedzi dotyczyły tej samej potrzeby.

Weźmy agencję, która chce wiedzieć, czy polskie sklepy internetowe znajdują ją, gdy szukają wsparcia w SEO. Jej pytania dotyczyłyby wyboru agencji i usług SEO dla sklepów internetowych. Pytania o reklamę w mediach społecznościowych albo ekspansję zagraniczną należą do osobnego badania. Zapisz nazwę marki, jej warianty i domenę strony, żeby rozpoznawać właściwą firmę i odrzucać firmy o podobnych nazwach.

Możesz porównać swoją markę z dwoma konkurentami o podobnej ofercie, zliczając ich według tych samych zasad. Jedna odpowiedź może wymieniać kilka firm, więc odsetki wzmianek tych firm mogą w sumie przekroczyć 100%. Jeśli zmienisz ofertę lub rynek, zacznij osobną serię pomiarów, żeby nie porównywać wyszukiwań, które mają inny cel.

Skorzystaj z raportów Google i Bing

W Search Console otwórz raport o skuteczności w generatywnej sztucznej inteligencji (wyszukiwarka). Wybierz zakres dat i kraj, a potem przejrzyj dane według stron i urządzeń. Dokumentacja Google opisuje wyświetlenia w funkcjach objętych raportem, między innymi w przeglądzie od AI i w Trybie AI. Discover ma osobny raport. Zapisz eksport lub zrzut ekranu, na którym widać usługę, filtry i daty. Jeśli raport nie jest dostępny na Twoim koncie, odnotuj to ograniczenie. Brak dostępu do danych nie oznacza zerowych wyświetleń.

W Bing Webmaster Tools otwórz AI Performance dla tego samego okresu. Zapisz łączną liczbę cytowań, dane o cytowanych stronach i dostępne zapytania grounding, czyli frazy, których system użył do pobrania źródeł. Te zapytania są próbką i niekoniecznie odpowiadają pytaniom wpisanym przez użytkowników.

Raporty Google i Bing mogą obejmować różne usługi i posługiwać się innymi jednostkami. Zakres dat i definicje wskaźników każdego raportu przechowuj razem z danymi i nie dodawaj wyświetleń do cytowań. Jeśli definicja się zmieni, zapisz datę i sprawdź, czy wcześniejsze dane nadal da się porównać.

Zaplanuj cztery tygodnie obserwacji

Wybierz 6 pytań i zadawaj każde w 2 interfejsach, dwa razy w tygodniu. Daje to 24 próby tygodniowo i 96 w ciągu czterech tygodni. Dwie rundy tygodniowo pozwalają sprawdzić, czy to samo pytanie po kilku dniach przynosi inną odpowiedź.

1. Wybierz dwa interfejsy

   Możesz na przykład użyć Trybu AI w Google i ChatGPT z wyszukiwaniem w sieci, jeśli masz już dostęp do obu. Pracuj po polsku i na polskim rynku. Zapisz przeglądarkę, urządzenie, konto, wyświetlaną nazwę modelu oraz ustawienia pamięci i personalizacji. Utrzymuj te warunki bez zmian, żeby rundy dało się porównać.

2. Przygotuj sześć pytań

   Zacznij od pytań, które zadają klienci, dział sprzedaży i obsługa klienta. Nadaj im identyfikatory od P1 do P6 i zapisz dokładne brzmienie. Przykłady poniżej dopasuj do swojej oferty przed startem, a potem nie zmieniaj sformułowań przez wszystkie cztery tygodnie. Pytania, w których pada nazwa marki, wydziel do osobnej grupy.

3. Zadawaj pytania w dwa osobne dni

   Mogą to być wtorki i piątki, mniej więcej o tej samej porze, przez cztery tygodnie. Każdego z tych dni zadaj wszystkie sześć pytań w obu interfejsach, co daje dwanaście prób. Dla każdego pytania zacznij nową rozmowę i zapisz pierwszą odpowiedź, zanim zadasz pytania uzupełniające.

4. Zapisz każdą odpowiedź razem ze źródłami

   Poczekaj, aż odpowiedź się wygeneruje, otwórz odnośniki do źródeł i zapisz tekst lub zrzut ekranu z datą i identyfikatorem testu. Odpowiedź wygenerowaną ponownie zapisz osobno, nie zastępuj nią pierwszej. Błędy także trafiają do dziennika. Jeśli po błędzie ponawiasz próbę, dodaj nowy wiersz. Powtórki oznacz osobno i wyłącz je z zaplanowanych tygodniowych sum.

Pytania P1–P4 pokazują, czy marka pojawia się bez podawania jej nazwy. Pytania P5 i P6 sprawdzają, jak jest opisywana, gdy nazwa pada w pytaniu. W podsumowaniu trzymaj te grupy osobno: wpisanie nazwy zmienia to, co mierzysz.

Przeglądy od AI i Tryb AI obserwuj osobno. Jeśli wybierzesz przeglądy od AI w zwykłych wynikach wyszukiwania, odnotowuj też sytuacje, gdy przegląd się nie pojawia. Wtedy nie ma odpowiedzi AI do oceny. Jeśli stracisz dostęp do któregoś interfejsu, zapisz przerwę. Możesz przejść na inny, żeby kontynuować pracę, ale dla niego zacznij osobną serię pomiarów.

Zapisuj odpowiedzi, źródła i błędy

Każdej próbie przypisz osobny wiersz i identyfikator, po którym znajdziesz dowód. Na przykład T1-A-P3-R2 oznacza tydzień 1, interfejs A, pytanie P3 i drugą rundę tego tygodnia. Zapisz datę, godzinę, strefę czasową, pytanie, warunki testu i nazwę pliku z zapisaną odpowiedzią. Zachowaj kopię tekstu lub zrzut ekranu: sam link do rozmowy może z czasem przestać działać.

Litera W oznacza wzmiankę o marce, C cytowanie Twojej strony, a L link do tego źródła. To trzy osobne zliczenia. Zanim porównasz je z danymi z narzędzia, sprawdź, czy jego definicje zgadzają się z Twoimi.

Jeśli kompletna odpowiedź nie wymienia marki i nie cytuje Twojej strony, wpisz OK oraz W=C=L=0. Gdy test się nie powiedzie, wpisz BŁĄD, a W, C i L zostaw puste. Tak samo postępuj przy BRAK. Jeśli nie możesz zweryfikować odwołania, zostaw puste tylko niepewne pole i wyjaśnij powód w notatkach. Wyłącz taką odpowiedź z obliczeń tego wskaźnika, którego nie udało się zweryfikować.

Cytowania i panel Źródła w ChatGPT mogą pokazywać także inne powiązane linki. Do C i L licz odwołania użyte jako źródło odpowiedzi. Jeśli strona pojawia się wyłącznie wśród dodatkowych linków, zapisz to osobno. Otwórz cytowaną stronę i sprawdź, czy potwierdza twierdzenie. Tej kontroli nie zastąpi zapytanie AI, czy jej własna odpowiedź jest poprawna.

Policz odsetki z ocenionych odpowiedzi

Przygotuj podsumowanie dla każdego interfejsu i rozdziel pytania z nazwą marki od pytań bez niej. Każdy odsetek licz wyłącznie z odpowiedzi, w których dało się sprawdzić, czy dana cecha występuje, czy nie. Zera też się liczą. BRAK i BŁĄD zostają w łącznej liczbie prób, ale nie wchodzą do odsetków wzmianek, cytowań i linków. Obok procentów podaj liczbę kompletnych odpowiedzi.

Każda odpowiedź liczy się w danym wskaźniku tylko raz, nawet jeśli zawiera dziesięć linków do Twojej strony. Żeby śledzić, które podstrony są cytowane, prowadź osobną listę unikalnych adresów URL. Zobaczysz na niej, ile różnych podstron się pojawia. Odsetek cytowań pokazuje, w ilu odpowiedziach jest co najmniej jedno źródło z Twojej strony.

W tym przykładzie pięć wzmianek w interfejsie A rozkłada się na cztery z sześciu pytań, więc pokrycie pytań wynosi 4/6 = 66,7%. Odsetek wzmianek nadal wynosi 5/11 = 45,5%, bo liczy się w nim pojedyncze odpowiedzi, także powtórzenia tego samego pytania.

Łączne 36,4% ukrywa dużą różnicę między dwiema grupami pytań: marka pojawia się w 2 z 15 odpowiedzi, gdy pytanie jej nie wymienia, i w 6 z 7, gdy ją wymienia. Żeby zrozumieć, jak ludzie mogliby trafić na markę bez wpisywania jej nazwy, przejrzyj najpierw dwie wzmianki przy pytaniach P1–P4 i ich źródła. Wynik 36,4% opisuje odpowiedzi z Twojego dziennika. Nie mówi, ilu użytkowników zobaczyło markę ani która platforma przynosi więcej leadów.

Sprawdź, co zmienia się z tygodnia na tydzień

Porównuj pierwszy tydzień z kolejnymi, przy tych samych pytaniach, interfejsach i zasadach. Obok procentów trzymaj liczby bezwzględne: przy 11 odpowiedziach jedna wzmianka więcej lub mniej zmienia odsetek o około 9,1 punktu procentowego.

Załóżmy, że wzmianki w interfejsie A rosną z 5/11 do 7/11. Odsetek rośnie z 45,5% do 63,6%, czyli o 18,2 punktu procentowego, licząc przed zaokrągleniem. Sprawdź, które odpowiedzi się zmieniły. Jeśli jedna nowa wzmianka pochodzi z P5 lub P6, a druga z P1–P4, pytania bez nazwy marki zyskały tylko jedną wzmiankę.

Jeśli w każdym z dwóch tygodni brakuje innych odpowiedzi, porównaj dodatkowo testy, które da się sparować. Dla interfejsu A zestaw odpowiedź na P3 z pierwszej rundy tygodnia 1 z odpowiedzią na P3 z pierwszej rundy tygodnia 2. Jeśli którejś brakuje, wyłącz tę parę z porównania. Podaj, ile par udało się ocenić. Jeśli przeformułujesz P3, zachowaj wcześniejsze wyniki, a nowemu pytaniu nadaj inny identyfikator. Gdy zmieni się model lub interfejs, zapisz zmianę i zdecyduj, czy zacząć nowe porównanie.

Zapisuj też inne zmiany w tym okresie: aktualizacje strony, premiery produktów, publikacje o marce w innych serwisach, zmiany po stronie platform albo w śledzeniu. Jeśli po aktualizacji wzmianek przybywa, sama kolejność zdarzeń nie dowodzi, że to ona była przyczyną. Brakujące źródła, problemy z dostępem do strony lub błędne informacje pomoże Ci zbadać poradnik o audycie widoczności w AI.

Cytowania, wizyty i zapytania trzymaj osobno

W narzędziu analitycznym sprawdź, z jakich źródeł pochodzą sesje i na jakie podstrony użytkownicy trafiają najpierw. Szukaj rozpoznawalnych domen, takich jak chatgpt.com, i parametrów UTM w linkach. Przetestuj link do swojej strony z odpowiedzi AI: powinien prowadzić na właściwą podstronę i zachowywać parametry. Oznacz tę wizytę testową, żeby wyłączyć ją z wyników biznesowych.

Dla każdego źródła zapisz okres, sesje, strony docelowe i działania, które chcesz mierzyć, na przykład trafne zapytania wysłane przez formularz kontaktowy. Zdefiniuj z góry, co uznajesz za trafne, a potem sprawdź w CRM, które zapytania spełniają to kryterium i które stają się szansami sprzedaży. Jeśli nie da się rozpoznać źródła z powodu decyzji o zgodach, aplikacji, braku refererów albo zmiany urządzenia, zostaw zapytanie lub wizytę bez przypisania.

Załóżmy, że narzędzie analityczne rejestruje 20 sesji z jednego źródła AI, a w 2 z nich wysłano formularz. Oba zapytania potwierdzono potem jako trafne. Wskaźnik wynosi 2/20 = 10% zarejestrowanych sesji. Dzielenie tych dwóch zapytań przez pięć cytowań z wcześniejszego przykładu nie miałoby sensu: cytowania pochodzą z odpowiedzi zebranych w testach, a sesje to rzeczywiste wizyty na stronie.

Do formularza możesz dodać opcjonalne pytanie „Skąd o nas wiesz?”. Odpowiedź pokazuje, co zapamiętała dana osoba. Nie łącz jej ze źródłem zapisanym w analityce, bo jedno może się różnić od drugiego.

Podsumuj cykl i zdecyduj, co sprawdzić dalej

Po każdej rundzie przejrzyj błędy i odwołania, których nie dało się zweryfikować. Na koniec każdego tygodnia zaktualizuj liczby według interfejsu i grupy pytań. Po czterech tygodniach przeczytaj jeszcze raz odpowiedzi, które się zmieniły albo błędnie opisały Twoją ofertę, i zdecyduj, co wymaga zbadania. Zbieraj odpowiedzi częściej, jeśli obserwujesz premierę lub chcesz szybko sprawdzić, czy błędne informacje zostały poprawione.

W podsumowaniu końcowym opisz, co i kiedy było obserwowane, ile prób miało status OK, BRAK lub BŁĄD i jak obliczono odsetki dla każdej grupy. Powiąż każdą liczbę z identyfikatorami testów, a wizyty i zapytania pokaż osobno. Każdej dalszej kontroli przypisz osobę odpowiedzialną i termin. Powtórz kluczowe pytania w następnym miesiącu. Nowe pytania raportuj osobno, dopóki nie będziesz mieć wcześniejszych wyników do porównania.

Korzystaj z dziennika przez wszystkie cztery tygodnie

Pełny tekst odpowiedzi i adresy URL źródeł zapisuj w plikach oznaczonych tymi samymi identyfikatorami co wpisy w dzienniku.

Przed startem zapisz ofertę, grupę odbiorców, rynek i pytania. Przygotowując podsumowanie, sprawdź, czy OK + BRAK + BŁĄD daje liczbę prób. Do odsetków wzmianek, cytowań i linków używaj tylko odpowiedzi, które udało się zweryfikować. Jeśli pole pozostaje niepewne, wyłącz je z mianownika tego wskaźnika i zanotuj powód.