Det er en scene som gjentar seg på kontorer over hele landet: noen åpner ChatGPT, spør «hvem er de beste rørleggerne i Førde», ser firmanavnet sitt i svaret, og tar et skjermbilde. Så lener de seg tilbake. Vi er med.
En ny gjennomgang av lokale AI-svar tyder på at det skjermbildet beviser omtrent ingenting.
Hva som ble målt
Det amerikanske lokal-SEO-byrået Steady Demand kjørte 1 487 lokale søk gjennom Gemini og samlet 14 472 siteringer. Oppsettet var 50 storbyområder ganget med ti tjenestebransjer ganget med tre måter å formulere spørsmålet på. Bransjene var nettopp de håndverks- og tjenestefagene norske lesere kjenner igjen: rørlegger, taktekker, ventilasjonsentreprenør, elektriker, låsesmed, skadedyrkontroll, rengjøring, personskadeadvokat, tannlege og bilverksted. Hoveddatasettet ble samlet inn 27.–28. juli, og metoden er publisert i sin helhet. Search Engine Land omtalte studien 19. august.
Fordelingen av kilder er interessant nok i seg selv, og vi kommer tilbake til den. Men hovedfunnet er noe annet.
Samme spørsmål, andre svar
Steady Demand kjørte i tillegg et eget lite forsøk der de stilte nøyaktig samme spørsmål om igjen — samme ordlyd, samme sted — og talte hvor mange av kildene som gikk igjen. De kaller fenomenet grounding drift.
Resultatene faller med tiden som går:
- To kjøringer rett etter hverandre samme dag: 46,3 prosent overlapp i kilder
- Samme dag, 3,5 timer senere: 41,0 prosent
- Neste dag, etter 19–20 timer: 26,5 prosent
Og selve anbefalingen er enda ustøere enn kildene. Den samme bedriften havnet øverst i bare 7,9 prosent av gjentakelsene.
Som kontroll kjørte de de samme søkene i Googles vanlige lokalpakke — de tre bedriftene som vises på kartet. Der lå den øverste oppføringen fast i 90,2 prosent av tilfellene.
Det er hele poenget i to tall: 90 prosent mot 8 prosent. Vi har vent oss til at søkeresultater ligger stille nok til at én sjekk sier noe. Det gjør de generative svarene ikke.
Byrået fant også at ustabiliteten oppstår tidlig i prosessen — i det steget der modellen bestemmer hvilke søk den skal gjøre på dine vegne, ikke i rangeringen etterpå. Selve søkestrengene modellen laget hadde nesten ingen overlapp mellom kjøringene. Da sier det seg selv at kildene heller ikke kan bli like.
Dette er ikke bare ett byrås påstand
Fenomenet er også behandlet uavhengig i forskningslitteraturen. Ronald Sielinski har publisert et statistisk rammeverk for å måle usikkerhet i AI-synlighet, der hele premisset er at generative søkesvar varierer fra kjøring til kjøring, og at målinger derfor må oppgis med usikkerhetsintervall — ikke som ett tall. Han skiller mellom variasjon som ligger i systemet selv og variasjon som skyldes at man har målt for lite.
Det er den samme observasjonen, gjort på to helt forskjellige måter. Og det er den viktigste grunnen til å ta funnet på alvor: byrået som fant det, selger lokal SEO, og har åpenbar egeninteresse av at du synes dette er komplisert. Når en uavhengig metodeartikkel bygger på samme premiss, står funnet støtt uansett hvem som fortalte det først.
Gemini og ChatGPT er ikke i nærheten av hverandre
Studien kjørte også de samme 1 487 spørsmålene gjennom ChatGPTs søkemodus. Overlappen mellom de to var 8 prosent på domener og 4,2 prosent på hvilken bedrift som ble anbefalt øverst.
Men den mest praktiske forskjellen ligger i hvilke typer kilder de to bruker:
- Gemini hentet 59,9 prosent av siteringene fra bedriftenes egne nettsteder.
- ChatGPT hentet bare 15,9 prosent fra bedriftsnettsteder. Til gjengjeld kom 41,7 prosent fra forum av Reddit-typen og 34,6 prosent fra kataloger.
Det betyr at jobben med å bli synlig ikke er én jobb. Skal du inn i Gemini, er din egen nettside hovedveien. Skal du inn i ChatGPT, avgjøres det i stor grad av hva som står om deg på steder du ikke eier. Vi har skrevet om det samme mønsteret før, da ChatGPT og Perplexity viste seg å anbefale helt ulike aktører — men forskjellen i kildetype er nyere, og mer handlingsrettet.
Forbeholdene, som faktisk betyr noe her
Det er tre ting du bør vite før du bruker disse tallene til noe.
Gjentakelsestesten er liten. De 14 472 siteringene er hoveddatasettet. Selve drift-forsøket var 72 kjøringer over fire runder på to dager, i seks bransjer, i New York. Forfatterne skriver det selv rett ut: dette er et bevisst smalt forsøk laget for å isolere en mekanisme, ikke for å fastslå hvor stor driften er i sin alminnelighet. De ber om at 40–46 prosent leses som «området vi observerte», ikke som en konstant.
Dette er amerikanske data. Femti amerikanske storbyområder, engelske søk. Mekanismen er neppe norsk eller amerikansk av natur, men tallene er det.
Målingen er gjort via programmeringsgrensesnittet, ikke i appen folk faktisk bruker. Steady Demand nevner dette som en begrensning selv: oppførselen i API-et er ikke nødvendigvis identisk med det en vanlig bruker ser.
Ingen av delene endrer konklusjonen — men de endrer hvor bastant du bør være når du forteller den videre.
Så hvordan måler man da?
Poenget er ikke at måling er umulig. Poenget er at én observasjon aldri var en måling. Andelen er målingen.
Dette er også grunnen til at vi har vært skeptiske til verktøy som selger «AI-synlighetsrapporter» basert på enkeltkjøringer — noe Google selv har advart mot. Et verktøy som sjekker én gang i uken og viser deg en graf, tegner i praksis en graf over tilfeldigheter.
Den gode nyheten er at det som faktisk flytter deg, er upåvirket av alt dette. At Gemini henter seks av ti siteringer fra bedriftenes egne nettsteder betyr at arbeidet du legger i din egen side fortsatt er det mest lønnsomme du gjør. Det er bare målingen som må gjøres annerledes.
Fem grep for en ærlig måling
- Spør fem ganger, ikke én. Still samme spørsmål fem ganger fordelt over en uke, og noter hvor mange ganger du er med. Tre av fem er et resultat. Én av én er et skjermbilde.
- Ta med dagen etter. Overlappen falt fra 46 til 26 prosent i løpet av ett døgn. En sjekk som bare gjøres i én økt, måler den mest stabile situasjonen som finnes.
- Mål Gemini og ChatGPT hver for seg. De er enige om anbefalt bedrift i 4,2 prosent av tilfellene. Å slå dem sammen til ett «AI-synlighetstall» skjuler mer enn det viser.
- Følg med på andelen, ikke plasseringen. «Vi er med i tre av fem svar, mot to av fem i juni» er et tall du kan styre etter. «Vi er nummer to» er det ikke, i en flate som ikke har faste plasser.
- Krev metoden når noen selger deg en rapport. Hvor mange kjøringer, hvilke modeller, hvilken periode, og oppgis usikkerheten? Får du ikke svar, har du ikke fått en måling.
Det er noe befriende i dette funnet. Den vanligste innvendingen mot å jobbe med AI-synlighet har vært at det ikke kan måles. Det stemmer ikke — det kan måles, det må bare måles som en andel over tid, slik man måler alt annet som svinger.
Vil du ha et ordentlig utgangspunkt å måle fra? Vi tilbyr en gratis synlighetssjekk — du får en konkret rapport på hvor du er synlig i dag, og hva som skal til for å bli nevnt oftere.