Webbanalys utan analysteam – så lyfter AI fram det viktiga i din webbdata

De flesta som ansvarar för en webbplats har mer data än de hinner dra nytta av. I vårt webinar den 1 september visade vi hur AI-insikter i Whitespace Analys tolkar webbdata, hittar det som avviker och förklarar det i klartext. Här är en sammanfattning av samtalet mellan David Blomberg, Johan Westin och Viktor Silfverhjelm Hultqvist.

David Blomberg: ”Det känns ständigt som att man funderar på hur man kan använda webbstatistik för att utveckla webbplatsen, mer än att bara ha det som en motivationshöjare – att man ser att folk besöker sajten." Så sa en webbansvarig som jag träffade efter sommaren, och han sammanfattade något som många ger uttryck för. Det är ett mönster vi ser brett, även bland våra egna kunder. Johan, du har siffror på det?

Johan Westin: Ja, vi har kollat hur ofta våra kunder faktiskt loggar in i Whitespace Analys. 30% gör det minst en gång i månaden, det är kunder som aktivt tittar på sin data. Sedan finns det såklart en del som hämtar ut datan via våra API:er till externa dashboards, till exempel Data Studio, och tar del av den vägen.

Men det är bara halva bilden. Att titta på siffror och att faktiskt agera på dem är inte samma sak.

David: Det säger något viktigt: även de som loggar in och tittar på datan får inte automatiskt ut nyttan av den. Så vad krävs egentligen för att få ut nytta av webbanalys, Viktor?

Viktor Silfverhjelm Hultqvist: Det beror på vem du pratar med. För vissa handlar det om att prioritera utvecklingen bättre: vad som ska byggas vidare på och vad som kan tas bort. För andra är fokus innehållet: skapa innehåll utifrån vad som fungerar för målgruppen, och fånga upp sådant som annars blir ett telefonsamtal till kundtjänst. Och många använder det för utvärdering. Ett fackförbund kan lägga miljoner kronor på kampanjer varje år, och då är nyttan av analysen att se vilken effekt medlemmarnas pengar ger.

Så att få ut nytta av webbanalysen handlar sällan om att samla in mer data, utan om att använda den på rätt sätt och i rätt sammanhang, för att fatta bättre beslut.

David: Vi frågade webinariedeltagarna hur många kollegor de har som jobbar heltid med webbanalys. 64% av dem som svarade har mindre än en heltidstjänst för webbanalysen. Viktor, vad hör du från våra kunder om det här?

Viktor: Det är väldigt sällan jag möter någon som har webbanalys som sin enda uppgift. Oftast är det en sidouppgift bredvid kommunikation, marknad eller IT, och det förklarar en hel del. Inte för att man inte förstår vikten av analys, utan för att tiden sällan är avsatt för den mer metodiska delen. Det är lätt att fastna vid att konstatera att folk besöker sajten. Man förstår vad som sker, men vet inte riktigt vad man ska göra med informationen för att komma vidare till att förutspå och förändra.

David: ”Vi gissar oss till ganska mycket – det är inte så datadrivet eller baserat på något underlag." Så sa en produktägare till mig om hur de prioriterar utvecklingen av webbplatsen. När vi räknade tillsammans landade vi i att 30–40% av webbutvecklingsbudgeten gick till initiativ där man i efterhand inte kunde verifiera effekten. I den verksamheten handlade det om några miljoner per år.

Viktor: Och det hänger ihop med något jag ofta hör: webbanalys förutsätter på sätt och vis att man redan vet vilken fråga man ska ställa till den. Så är det verkligen inte alltid. Jag ser ofta kunder titta på en viss rapport och undra vad nästa steg är. Det är helt enkelt svårt att ställa rätt frågor och komma djupare i analysen. Att bryta ytspänningen i det där havet av siffror.

David: I början av året började Johan och teamet jobba för att fler ska kunna dra nytta av den data de samlar in, med hjälp av AI. Jag ska erkänna att jag var skeptisk till om AI skulle ge några meningsfulla insikter. Men den här gången hade jag fel. Först en fundering jag tror många delar: vi har alla sett hur kraftfull AI kan vara, men det kan också bli fel. Johan, kan man lita på AI?

Johan: Det är upp till var och en att bedöma, men det finns uppmärksammade fall där det blivit fel. Deloitte i Australien fick till exempel betala tillbaka delar av arvodet för en myndighetsrapport värd flera miljoner sedan det visat sig att AI hittat på källhänvisningar i den.

Samtidigt är det mer komplicerat än så. De språkmodeller som används nu svarar gärna med en självsäker och övertygande ton, även när svaret är fel. Det kallas hallucinationer, när AI:n hittar på saker som passar för stunden.

Så för att kunna skapa bättre insikter har vi delat upp arbetet och använder flera olika typer av AI-system. Vi har även valt bort en del typer av insikter, för att vi ser att de är svåra att få rätt.

David: Förklara gärna närmare. Olika typer av AI, och hur har ni resonerat kring att välja bort insikter?

Johan: Till att börja med är AI ett väldigt brett begrepp. De flesta tänker nog på en språkmodell eller chattbot, något i stil med Claude, Copilot eller ChatGPT. Det är en typ av AI som använder språk för att tänka och agera, i stället för ren logik eller matematik.

Det finns även andra sätt att använda maskininlärning. Ett exempel är statistisk analys: man kan träna modeller att hitta avvikelser i data eller förutsäga hur tidsserier utvecklas över tid. Vi kallar det numerisk AI, för att den är bra på att räkna och hitta samband i numerisk data.

Innan vi satte igång var frågan dels vilken typ av AI vi skulle använda, dels vilka typer av analys vi borde prioritera. Vi tog fram en tabell med exempel på analysuppgifter och vilken typ av AI som passar för dem.

Att analysera sökningar på webbplatsen, fritextsvar eller sidor som inte hittas är en uppgift där en språkmodell fungerar bra, den kan gruppera och hitta samband. Att hitta trender och avvikelser är däremot statistisk analys, alltså AI men inte en språkmodell. Att sätta ord på insikter som redan är gjorda, det gör språkmodellen bra. Och att hitta vad som förklarar en förändring, till exempel en kampanj, finns i flera analysverktyg, men där är träffsäkerheten begränsad om AI:n inte också får ett sammanhang kring var informationen kommer ifrån.

David: Så för varje uppgift finns en AI-typ som passar. Vad valde ni?

Johan: Vi har valt att till en början fokusera på fyra delar: att hitta trender och avvikelser, att analysera sökningar på webbplatsen, att hitta navigationsmönster som tyder på UX-problem, och slutligen att sätta ord på insikterna i en rapport som är lätt att förstå.

Här insåg vi direkt att vi behöver kombinera statistisk analys och numerisk AI med en språkmodell. Det går inte att uppnå målen med bara statistisk analys, och inte heller med bara en språkmodell. Det är det vi kallar hybrid-AI.

David: Hur går det till när en rapport skapas, steg för steg?

Johan: Rapporten växer fram i fem steg:

1. Signaler. Systemet undersöker avvikelser och mönster i datan, som lagras som observationer.
2. Frågor. Språkmodellen tar fram ett antal frågor, utifrån information om verksamheten och kunskap om analys.
3. Fakta. Språkmodellen undersöker om frågorna kan besvaras av observationerna.
4. Utkast. Ett utkast till rapport skapas, med källhänvisningar till var datan kommer ifrån.
5. Validering. AI:n går igenom rapporten en extra gång och kontrollerar att alla påståenden kan kopplas till gjorda observationer, så att inga hallucinationer har smugit sig in.

David: Då tror jag att många är nyfikna på hur det ser ut i praktiken. Johan, visa gärna.

Johan: Vi har fått lov av en av våra kunder, ett fackförbund, att använda deras data som exempel. I administrationsdelen av verktyget ser vi allt som den numeriska AI:n har hittat när den analyserat rådatan, det vi kallar observationer och insikter.

Vi fångar upp en stor mängd observationer, som sedan sätts samman till en mindre mängd insikter. Den numeriska AI:n lyckas även fånga svagare signaler som kan vara intressanta. Ett exempel är en sida om vad som ingår i studentmedlemskapet, som fick en liten men tydlig uppgång i somras. Sidan har inte ens hundra besök om dagen och ligger långt ner på topplistan över besökta sidor, så den här typen av förändring är väldigt svår att upptäcka manuellt. Men här har något hänt som kan vara värt att ta med sig in i innehållsarbetet.

Det sista steget översätter observationerna till ord, tabeller och diagram, något som är lätt att förstå och lätt att kommunicera. Det kallar vi rapporter.

I rapporten får du både en översikt och en djupare analys inom olika delar. I det här exemplet ser vi bland annat att fler har laddat ner material från sajten än tidigare, och att lite färre har loggat in. Vi får en tolkning av vad som kan ha hänt och förslag på nästa steg.

I just den här rapporten fanns också en dag med mycket mer trafik än normalt. Där saknade AI:n sammanhang, eftersom det inte fanns några noteringar i plattformen om att ett mejlutskick till alla medlemmar gick ut den dagen. Då blir tipset i rapporten att ta reda på vad som hände och vad det kan betyda framåt.

David: Om vi ska vara ärliga skulle nog många hellre koppla sin egen AI-agent direkt mot vårt API än använda en inbyggd AI. Utvecklaren Ali Spittel satte ord på det i ett inlägg på X: hon vill inte använda tjänsternas inbyggda agenter, hon vill använda sin egen agent för att komma åt tjänsten. Är inte det rimligare?

Johan: Det är en helt rimlig instinkt. Vi tänker likadant och har byggt plattformen så att även externa agenter och AI-system ska kunna hämta ut data. Poängen är att man kan välja hur mycket man vill ge sin agent.

Du kan ta rådatan och sköta allt själv, eller hämta observationerna, alltså mönstren som vår numeriska AI redan hittat, och låta din egen agent ta över därifrån, eller ta del av de färdiga rapporterna.

Vi har lagt mycket energi på att bygga bra instruktionerna till agenterna som skapar rapporterna, men det står en fritt att bygga sitt eget flöde. Ett råd om du väljer att hämta rådata är att ta reda på vilken policy ni har för användning av externa AI-tjänster. I vår plattform har vi till exempel tagit bort all persondata från de observationer som språkmodellen får ta del av.

David: Det här är ett verktyg som utvecklas just nu, och som ett led i utvecklingen har du, Viktor, presenterat insikter för några kunder. Kan du ge ett exempel, och berätta hur kunden reagerade?

Viktor: Jag har ett färskt exempel. Inför ett kundmöte provade vi att köra AI-analysen i kundens miljö, och den kunde bland annat identifiera att antalet spårade sökningar hade gått ned kraftigt.

Det var en stor avvikelse som vi kunde titta på tillsammans i sittande möte, och verifiera att det handlade om ett tekniskt fel i spårningen. För många av våra kunder är sökmönstren en viktig del av analysen, så att spårningen av sökningar slutat fungera är rätt illa. Här kunde vi skapa en väl dokumenterad felrapport till utvecklarna på direkten, och fick svar med vändande post.

Går det att ge AI:n ett sammanhang om verksamheten? Skillnaden är ju stor mellan ett fackförbund och en stor myndighet.

Johan: Ja, och det såg vi snabbt när vi började jobba med rapporterna: om vi kan ge AI:n information om vilken typ av organisation det är, och vilka mål som finns, så får vi en rapport med högre kvalitet. Det finns ett steg tidigt i processen där man som användare beskriver de sakerna, så att sammanhanget kommer med.

Hur funkar det med GDPR? Vem driver AI-tjänsten och vart skickas datan?

Johan: Det här kommer vara viktigt för alla som använder plattformen att ha full kontroll över. Vi låter till exempel ingen extern AI ta del av persondata. Vi ser också framför oss att man ska kunna välja vilka modeller och leverantörer man har godkänt, eller till och med köra på egen hårdvara. Det finns öppna standarder för hur man pratar med de här modellerna som vi använder oss av. Det är också viktigt för oss att allt är spårbart, så att du alltid kan gå tillbaka och se varför AI:n sa det här, just nu, den här gången.

Johan: Just nu är vi inne i en betaperiod och släpper in kunder en och en, för vi vill ha en god dialog med alla som är inne i plattformen och få återkoppling på vad som funkar och inte. Har du Whitespace Analys som molntjänst hos oss räcker det att kontakta vår support, så hjälper vi dig att få tillgång till AI-analysen.

David: Och har du inte Whitespace Analys än, mejla mig så sätter vi ihop ett exempel på en rapport för just er webbplats, som vi går igenom tillsammans.