Datakvalitet är nyckeln till AI-analys

Vore det inte perfekt om AI kunde ta all din data, analysera den och ge rekommendationer om vad du ska göra (eller kanske göra det själv)? Du kanske skulle få nya insikter som du annars inte hade upptäckt och kunna fatta mycket bättre beslut som grundar sig på data istället för magkänsla.

Det tycker jag också! Och det finns stora möjligheter med AI, men det visar sig också finnas stora fallgropar. Jag kommer att gå igenom några exempel på begränsningar med AI, var AI faktiskt gör skillnad och hur du kan göra dig redo redan nu för att analysera din data med hjälp av AI. För det finns en stor skillnad mellan ett misslyckat AI-projekt och ett som ger värde – och det handlar om datakvalitet. Men jag tar det från början…

AI är ett brett begrepp, men de flesta tänker nog på en språkmodell (LLM) när vi pratar om AI idag. Som du säkert har märkt har en LLM fel ganska ofta, men den låter så trovärdig att det kan vara svårt att upptäcka. En rapport från Salesforce säger att data- och analysansvariga uppskattar att en fjärdedel av deras data inte går att lita på, medan en annan rapport från Workiva säger att 26% av de svarande har skickat felaktig data genererad av AI till externa personer eller styrelsemedlemmar. Det finns också ett antal internationella exempel på hur dålig data i kombination med AI haft stor inverkan på företag – från teknikföretaget Unity Software som uppskattar att dålig data och ett problem i deras analysverktyg kostade dem mer än en miljard kronor, till Deloitte som producerade en rapport för 3 miljoner kronor som innehöll påhittade citat och referenser.

Hallucinationer är ett välkänt problem med LLM:er, och när det gäller dataanalys kan det bli extra problematiskt eftersom man sällan har ett uppenbart ”facit”. Bland annat Adobe har skrivit om detta när de utvärderar sin egen analysplattform.

Ska vi då lägga ner AI och dataanalys?

När vi jobbar med webbanalys så handlar det om siffror och tal – antal besök, konverteringar, andel besök som kom från en specifik kampanj, och så vidare. Och här finns tydliga svar: En LLM är helt enkelt inte så bra på att räkna. Flera olika studier har visat att en LLM som försöker analysera data genom att resonera ofta har fel. Om samma LLM däremot bygger kod som gör analysen har den rätt betydligt oftare.

Det visar att en LLM kan vara användbar för analys – men snarare för att bygga verktyg och för att beskriva i ord vad den numeriska analysen visar.

Dessutom finns det andra typer av AI som inte är en LLM: till exempel ”klassisk” statistisk analys som är användbar för att hitta avvikelser och trender i data. Det innebär att plötsliga förändringar i beteendet på webbplatsen går att identifiera på ett sätt som få analytiker skulle hinna med manuellt.

Jag har sammanställt ett par analysuppgifter och hur bra AI funkar för dem:

Oavsett om en analytiker eller en AI gör analys kan det vara lätt att förledas av dålig data. Jag har ett exempel från en kund där mätningskoden registrerade den första sidvisningen två gånger. Då räknas inget besök längre som en enda visning, och avvisningsfrekvensen blir väldigt låg. På pappret såg det ut som att webbplatsen plötsligt blivit mycket mer engagerande, medan den i verkligheten presterade ungefär som vanligt.

Så länge felet är lika stort hela tiden spelar det faktiskt mindre roll för trend- eller avvikelseanalys. Om felet varierar över tid, t.ex. att det uppkommer i samband med en ny version av webbplatsen, kommer det att innebära problem. Att införa testning även för mätning är ett sätt att komma till rätta med detta, och ett annat är att hålla ordning på namngivning (i sin enklaste form är det ett ark för kampanjparametrar).

En annan aspekt som visat sig ha stor positiv effekt är att ge AI-analysen mer sammanhang. I en studie gick träffsäkerheten från 16 till 54 procent när man beskrev betydelsen av data och hur den hänger ihop, och LinkedIn har sett en liknande förbättring.

Det finns flera sätt att ge analysen sammanhang:

• Notera vad som hände och när – samla externa händelser, allt från att en ny kampanj lanseras till att webbplatsen produktionssätts. I många analysverktyg kallas detta annotationer.
• Förklara vad siffrorna betyder – beskriv vad respektive fält har för betydelse – vad räknas som ett besök, och vad står konverteringen för? Detta brukar kallas ett semantiskt lager.
• Beskriv hur siffrorna hänger ihop – beskriv t.ex. hur konverteringar relaterar till besök – det bygger en kunskapsgraf för analysen att ta hjälp av.

När det gäller webbanalys är det lite enklare: både det semantiska lagret och kunskapsgrafen är i allmänhet desamma för olika webbplatser. (För andra typer av data finns det produkter som kan hjälpa till att hantera ett semantiskt lager, t.ex. svenska Steep.)

Med annotationer kan du göra skillnad redan idag. Om du använder Whitespace Analys (eller Matomo) kan du enkelt lägga till annotationer i gränssnittet – gör det till en vana varje gång du lanserar en ny kampanj eller ett nytt initiativ. Du kan också lägga in om ditt ämnesområde plockas upp i tidningar – på Whitespace har vi sett att många myndigheter och kommuner får plötsligt ökad trafik när media skriver om ämnen som översvämningar eller PFAS.

För att ytterligare förenkla för AI-analysen kan du koppla systemet du använder för att driftsätta nya versioner av din webbplats direkt till annotationsfunktionen så att det automatiskt läggs in en annotation. Även om du inte använder AI-analys idag kommer det att vara en stor hjälp för att göra en korrekt analys i framtiden.

Mina kollegor på Whitespace har under det senaste halvåret arbetat på en ny produkt för AI-analys i Whitespace Analys, vårt webbanalysverktyg baserat på Matomo. Vi har valt att utgå från en hybridmodell som använder sig av både statistisk analys och en LLM för att sammanfatta insikterna.

Vår bedömning är att AI-analys verkligen fungerar – så länge data är av bra kvalitet, och det finns underlag för dig som användare att bedöma svaren. På ett kommande webinar berättar vi om våra erfarenheter av AI-analys och ger ett par exempel på insikter från våra kunder. Utmaningen med AI är inte att det blir fel ibland, utan att det kan vara väldigt svårt att avgöra när det blir fel. I studien från LinkedIn ovan tyckte 95% av användarna att svaren var bra, samtidigt som experter bedömde att bara drygt hälften var rätt.

Men den viktigaste slutsatsen är ändå att du behöver data du kan lita på, och det arbetet börjar idag! Från tekniska aspekter som korrekt mätning, till bra arbetsflöden för namngivning av kampanjer, till annotationer som ger viktigt sammanhang, finns det mycket du kan göra för att se till att AI-analys blir användbar för dig också.