De viktigste toppoppgavene stabiliserer seg raskt. Etter en viss mengde svar ser vi at rangeringen av oppgaver ikke endrer seg vesentlig, selv om vi samler inn flere svar. Dette prinsippet stemmer overens med forskning innen brukertesting, hvor man ofte finner 80-90 % av de viktigste brukervennlighetsproblemene med kun 5 testpersoner.
Samtidig vet vi at flere svar gir mer rom for mer detaljert analyse, hvor man kan få resultater innenfor flere målgrupper for eksempel. I tillegg til nok antall svar bør undersøkelsen gå over en lang nok tidsperiode.
Her finner du tall for toppoppgaver og løsningsgrad i dashboardet
Antall svar om brukerens oppgave vises under Responses
Antall svar om løsningsgrad er brutt ned med to tall
Task completion er de som fikk løst oppgaven sin (svarte ja)
Fail rate er de som ikke fikk løst oppgaven (svarte nei)
Toppoppgaver
For å identifisere de viktigste toppoppgavene holder det ofte med 400 svar, fordi brukernes behov er relativt stabile.
Ved 250-400 svar blir resultatene mer stabile, og vi kan stole på at rangeringen av toppoppgavene er representativ for brukergruppen.
Over 1000 svar gir mer detaljerte data for segmentering og analyse, men de viktigste toppoppgavene ville vært de samme ved et lavere antall svar.
Løsningsgrad
Løsningsgrad (Task Completion Rate) er et binært spørsmål (ja/nei), noe som betyr at man trenger færre svar for å oppnå en nyttig indikasjon på en enkelt toppoppgave.
Ved 25 svar per oppgave har vi allerede en grov, men anvendbar indikasjon på om brukerne får gjort det de kom for.
Ved 50-100 svar per oppgave reduseres feilmarginen betraktelig, og vi får mer stabile estimater. I tillegg har vi nok for å segmentere på for eksempel mobil vs desktop.
Ved 500+ svar per oppgave er feilmarginen under 5 %, noe som gir høy presisjon og gode mulighet til å segmentere på for eksempel eksempel mobil vs. desktop.
I Task List indikeres det med fargen grå, dersom det finnes for få svar om løsningsgrad.
Aggregert løsningsgrad for undersøkelsen
For aggregert løsningsgrad (for eksempel gjennomsnitt for alle toppoppgaver eller for en hel målgruppe) trengs flere svar for å sikre at resultatene er representative:
100-200 svar per aggregert gruppe gir en indikasjon, men med høy feilmargin.
500+ svar per aggregert gruppe gir en stabil måling
1000+ svar per aggregert gruppe gir høy presisjon og mulighet til mer detaljerte segmenteringer.
Du finner tallet for aggregert løsningsgrad over tabellen under Task Completion.
Sesongvariasjoner
Brukernes toppoppgaver kan variere over tid derfor trenger man tilstrekkelig antall svar for hver tidsperiode (f.eks måned eller kvarta) man ønsker å rapportere toppoppgaver for. For eksempel er en viktig toppoppgave i april og mai å sende inn skattemelding, mens dette er ikke en toppoppgave i november.
For kontinuerlige målinger, hvor formålet er å overvåke utviklingen av toppoppgaver og løsningsgrad over tid, kan man la undersøkelsen være åpen på ubestemt tid og heller analysere data i faste intervaller (f.eks. månedlig eller kvartalsvis). For dette brukes innstillinger for å redusere andel brukere som ser undersøkelsen og sikre at de som har svart ikke ser den på nytt.
Tidsperiode: Hvor lenge bør en undersøkelse kjøre?
For å sikre at dataen faktisk reflekterer brukernes behov over tid, er det viktig å samle svar over en representativ tidsperiode. Dersom undersøkelsen for eksempel kun gjennomføres på én enkelt dag, kan spesielle hendelser føre til en skjev fordeling av svarene. For eksempel:
Hvis undersøkelsen kjøres samme dag som et nyhetsbrev sendes ut, vil mange brukere besøke nettsiden for å lese nyhetsbrevet, noe som kan gi et misvisende bilde av de viktigste toppoppgavene.
Hvis en undersøkelse kjøres midt i en større lansering eller kampanje, kan svarene bli preget av midlertidige oppgaver som ikke reflekterer det jevnlige behovet på nettsiden.
Anbefaling: For å få et mer representativt utvalg bør undersøkelsen være aktiv i minst 4 uker, slik at den fanger opp et bredere utvalg av brukernes behov over tid.
Er det nyttig med flere enn 1000 svar?
Flere enn tusen svar gir flere muligheter for analyse.
Segmentering: Tallfest toppoppgaver og løsningsgrad for hver målgruppe, enhet (device) eller tidsperiode. For dette trengs nok svar innenfor hvert segment og da blir det fort 500 + 500 + 500 svar osv.
Fritekstsvar: Tilbakemeldinger i fritekst er alltid nyttige og gir god kvalitativ innsikt om konkrete problemer eller ønsker fra brukerne. Med flere svar totalt gjør at det gis mange tilbakameldinger per toppoppgave. Husk også at ikke som svarer på spørsmål om toppoppgave og løsningsgrad gir fritekstsvar i tillegg.
Kompensere for drop-off: Ikke alle som starter undersøkelsen svarer på de siste spørsmålene i rekkefølgen. Det hender også at ikke alle svarer på spørsmål om løsningsgrad, som er et viktig tall å etablere. For å kompensere for dette trengs det flere svar innledningsvis. Les mer om drop-off.