Kør små eksperimenter med en defineret beslutningsregel

Eksperimenter mister værdi, når teamet ændrer for mange ting på én gang eller omdefinerer succes efter at have set på dataene. En simpel protokol gør indlæringen mere overskuelig, selv når resultatet ikke er entydigt.

Skriv hypotesen og mekanismen

Brug: "Hvis vi laver [ændre] til [gruppe], forventer vi at observere [tegn] på grund af [grund]." Årsagen er vigtig: Hvis signalet ikke ændrer sig, kan du vurdere, om hypotesen eller mekanismen var forkert.

Definer testen

Vælg en hovedændring, gruppen eller situationen, perioden og hvordan observationer skal registreres. Definer på forhånd, hvilket resultat der ville understøtte hypotesen, hvilket ville svække den, og hvilket der ville kræve mere information. I test med få observationer, behandle mønstre som spor, ikke statistisk bevis.

Inkluder sikkerheds- og indsatsgrænser

Bestem, hvor meget tid eller ressourcer testen kan forbruge, og hvilken situation der kræver at stoppe tidligt. Hvis der er en risiko for kunder, data, sikkerhed eller kvalitet, beskyt deltagerne og stop, når der opstår uventet skade.

Når du er færdig, noter hvad der skete, hvad der ikke blev målt og den næste beslutning: vedtage, justere, gentage eller opgive. Et eksperiment, der reducerer usikkerheden, kan allerede være nyttigt, selv uden at bekræfte ideen.

Ofte stillede spørgsmål

Har jeg brug for en kontrolgruppe?

Det afhænger af omkostningerne ved en forkert konklusion og testdesignet. I simple tilfælde kan en før/efter sammenligning styre det næste spørgsmål, men den isolerer ikke alle årsager.

Hvad hvis resultatet ikke er entydigt?

Gennemgå varigheden, kvaliteten af ​​målingen og størrelsen af ​​effekten, som du kunne opfatte. Beslut om det er værd at gentage med et bedre design, eller om den resterende usikkerhed er acceptabel.

Kan jeg teste flere ændringer?

Det kan i eksplorativ testning, men separate ændringer er med til at forstå, hvad der har påvirket resultatet.

For at fortsætte med at lære med praktiske ideer til erhvervslivet, abonner på Ímpetus-nyhedsbrevet gratis.