Osebne lekcije iz 8 let izkušenj vzporednega testiranja

 
 

Sorodne objave

Premagajte zakon padajočih donosov pri optimizaciji internetne konverzije

Največja skrivnost optimizacije konverzije spletne strani

Pozabil sem narediti test, zdaj pa ne vem, kako izmeriti vpliv sprememb?

Prvi vzporedni test za prodajno optimizacijo spletne strani sem izvedel tam nekje leta 2002.

Takrat je življenje bilo še enostavno. Poznali smo le A/B teste. Nikakršnega govora o multi-variatnem testiranju. Brez možnosti razmišljanja o višjih testnih metodah, kot so Taguchi, "full factorial", "fractional factorial" itd. Da niti ne omenim segmentacije rezultatov in podobnega.

Svet testiranja je danes povsem drugačen. Kompleksnejši.

In predvsem, klasična pravila vzporednega testiranja v Sloveniji zaradi majhnosti trga niti veljajo ne!

Po teh cca. 8 letih je za mano na stotine testov (še danes zjutraj sem preverjal rezultate trenutnih cca. 12 aktivnih testov) v več kot 20 državah, vključno z ZDA in Anglijo.

Uspešnih in manj uspešnih. Predvsem pa takšnih, kjer sem se sam in s svojo ekipo (predvsem Uršo Podobnik in Polono Železnik) naučil ogromno o tem, kaj pri testiranju zares deluje v praksi.

Da ne boste ponavljali mojih napak, si bomo danes pogledali najpomembnejše lekcije, ki sem se jih v vseh teh letih naučil.

Te lekcije bodo tokrat predvsem konceptualne narave. Pravzaprav, po pravici povedano, ta članek skoraj bolj pišem zase, kot dodaten opomnik za nadaljne testiranje. Zato tudi ne pričakujte veliko podrobnosti o testiranju, temveč predvsem najpomembnejše konceptualne izkušnje.

Najprej pa si za uvod poglejmo, kaj vzporedno testiranje sploh je, in zakaj je to eno najpomembnejših področij internetnega trženja (če vse to že veste, brez težav preskočite na tisto pravo v nadaljevanju).

Ekspresen uvod v vzporedno testiranje za začetnike

Osnovni koncept vzporednega testiranja je enostaven (primer v nadaljevanju je primer A/B testiranja):

test1b.jpg

Koncept še najlažje spoznamo s pomočjo praktičnega primera.

Uporabimo kar mojega najljubšega, ki je bil hkrati tudi moj prvi: test naslovne strani spletnega mesta za prodajo elektronske knjige "The Englightened Salesperson" [prev.: Razsvetljeni prodajalec], avtorjev Nikole Grubiša in Borisa Veneta, v ZDA.

  • Cilj testa je bil poiskati najboljši možni prodajni naslov naslovne strani, ki bo največji delež obiskovalcev prepričal, da opravijo nakup knjige.
  • Testirali smo 11 različnih prodajnih naslovov na naslovni strani.
  • Preostali elementi naslovne strani se niso razlikovali v ničemer.

test2b.jpg

Test je potekal tako:

  • Pripravili smo 11 različic naslovne strani (za vsak prodajni naslov lastno naslovno stran)
  • S posebnim spletnim orodjem (danes za to uporabite brezplačni Google Website Optimizer) smo posamezne verzije pod-strani prikazovali različnim obiskovalcem
  • Na koncu smo primerjali stopnjo konverzije za obiskovalce posameznih različic naslovne strani in ohranili tisto, ki je dosegla najboljši rezultat

Enostavno!

Ta primer in njegove rezultate smo si pravzaprav že ogledali v enem prejšnjih člankov, kjer sem tudi razkril, da je zmagovalna verzija premagala najslabšo verzijo za kar 2-krat več.

Še nekaj hitrih praktičnih pravil za testiranje

Za vse tiste, ki vam je koncept testiranja nov, še nekaj dodatnih obrazložitev:

  • Testiranje vedno poteka istočasno
    Različnim obiskovalcem prikazujemo različne verzije pod-strani, tako da obiskovalec #1 vidi verzijo A, obiskovalec #2 vidi verzijo B, obiskovalec #3 vidi verzijo C itd.
  • Isti obiskovalec vedno, dokler traja test, vidi isto verzijo strani
    Torej tudi če se obiskovalec #1 na spletno mesto vrne naslednji dan, bo še vedno videl tisto isto verzijo pod-strani, ki jo je videl prvič
  • Porazdeljevanje verzij strani mora biti enakomerno
    Testiranje mora vedno potekati tako, da se različne verzije strani enakomerno porazdeljujejo med obiskovalce. Če bi npr. testirali samo 2 različici, bi to pomenilo, da 1. obiskovalec vidi verzijo A, 2. verzijo B, 3. verzijo A, 4. verzijo B, 5. verzijo A in tako naprej ...

Kaj vse lahko testiramo?

Teoretično praktično karkoli.

  • Vsebino različnih pod-strani (naslov, glavno besedilo, itd.)
  • Strukturo pod-strani
  • Design pod-strani
  • Različne funkcionalnosti spletnega mesta
  • Prodajne procese
  • Različne ponudbe
  • Itd.

Dobesedno karkoli, kar je na vašem spletnem mestu.

Zakaj sploh vzporedno testirati?

Ker je vzporedno testiranje edini kolikor toliko zanesljivi način, da ugotovimo, katera različica pod-strani oz. posameznih elementov na pod-strani ima najugodnejši vpliv na poslovni rezultat spletnega mesta.

Zakaj vzporedno in ne sekvenčno testiranje?

Na tem mestu se ljudje običajno vprašajo:

Zakaj istočasno testirati več različic strani? Mar ni isto, če pač najprej objavimo eno različico, in potem čez 1 teden še drugo (sekvenčno testiranje)?
Nikakor ne!

Na stopnjo konverzije vpliva množica faktorjev, od virov obiska, zunanjih faktorjev in sezone. Ti vplivi se spreminjajo iz tedna v teden in pomembno vplivajo na rezultat testa. Vzporedno testiranje te vplive, kolikor je pač mogoče, izloči.

Kaj pa testiranje uporabnosti (usability testing)? Ne dobimo na ta način boljših rezultatov?

Tudi ne. Testiranje uporabnosti prinaša mnogo premajhne vzorce in poleg tega subjektov ne postavi v realno situacijo, kjer se morajo odločati s svojimi denarnicami. Je vsekakor koristno, a nikakor dovolj, če je cilj konkretno povečevanje konverzije posameznih pod-strani.

Lahko še kaj podrobnosti?

Kmalu, obljubim. Tokrat naj bo dovolj ta kratek uvod, da se lahko sedaj lotimo tiste prave teme članka in si konkretno pogledamo najpomembnejše lekcije (po mojih izkušnjah) testiranja ...

1. Testiranje je ključ do uspeha z internetnim trženjem

Ta je najenostavnejša. Testiranje je preprosto nujno za "prodajno" optimizacijo vsakršnega spletnega mesta.

Lahko imamo izkušnje. Lahko analiziramo na vse pretege. Lahko imamo intuicijo. A na koncu nas bodo obiskovalci še vedno presenetili in "izbrali" nepričakovano.

Ker obiskovalci glasujejo s svojimi "denarnicami" (oz. konverzijami). Dokler jih ne postavimo pred odločitev, ne bomo nikoli zares vedeli, katera različica deluje najboljše.

Potrebujete še kakšen razlog?

Morda to, da lahko s testiranjem postopoma prodajno učinkovitost svojega spletnega mesta povečate tudi za več kot 100%, 200%, 300% in celo več?

2. Nikakor ne moremo testirati vsega

Ko sem bil še mlad internetni tržnik, ki je ravno odkril čudoviti svet vzporednega testiranja, sem želel testirati praktično vse, tudi najbolj miniaturne spremembe na spletnem mestu.

Enostavno me je vodila želja po znanju oz. vedenju, kaj deluje boljše. In sem zašel v ekstreme.

Danes lahko povem:

Nobeno spletno mesto v Sloveniji nima dovolj obiska, da bi lahko testiralo vsako malenkost.

Zakaj?

  • Zanesljivi rezultati zahtevajo statistično značilnost. Za to pa potrebujete občutno število konverzij.
  • Male spremembe prinašajo male razlike v rezultatih. Četudi dosežete statistično značilnost, bodo razlike v rezultatih zaradi malih sprememb preprosto premale, da bi se testiranje izplačalo.

Želite primer malih sprememb?

Primerjajte npr. ti dve verziji pod-strani za si.MarketingStudies.net brezplačno e-knjigo:

test3b.jpg

Opazite razlike? Nekaj razlik v besedilu, nekaj dodatnih grafik, in to je to. Razlike sicer so (tudi v rezultatih), a majhne. Tolikšne, da zanje ni bilo vredno izgubljati časa, temveč bi bilo boljše ta čas nameniti večjim testom.

Zato ...

3. Testirajte le večje konceptualne razlike

Ker imamo na voljo omejeno število obiskovalcev, torej ne moremo testirati prav vsake malenkosti. Zato moramo svojo energijo usmerjati v teste, ki imajo največjo verjetnost velikega vpliva na rezultate.

V praksi to pomeni testiranje večjih konceptualnih razlik, ki lahko pomembno vplivajo na rezultat.

Npr.:

  • Prodajni pristop pri predstavitvi izdelka
  • Ponudba (cena, različni sprožilci, omejenost, ...)
  • Večje strukturne in oblikovne spremembe
  • Itd.

Kaj bi npr. bile večje strukturne in oblikovne spremembe?

Primerjajte spodnji dve različici istega spletnega mesta in vam bo takoj jasno:

test4b.jpg

Razlike v rezultatih? Ogromne!

Pod-pravilo: Ignorirajte pravilo testiranja ene razlike naenkrat

Eno izmed pravil vzporednega testiranja pravi, da je potrebno naenkrat testirati le eno samo razliko, saj lahko le tako ugotovimo, kako ta razlika vpliva na rezultat.

V teoriji super pravilo, ki pa je v Sloveniji, zopet zaradi majhnosti trga, popolnoma neizvedljivo.

Bistvo testiranja ni osebna rast v iskanju kaj deluje in kaj ne, temveč najhitrejša pot do čimvečjega rezultata.

4. Predpriprave so nujen pogoj za uspešen test

Glede na to, da ne moremo testirati vsega, so dobre predpriprave nujen pogoj za uspešen test.

To pomeni minimalno:

  • Poglobljena analiza spletnega mesta za ugotavljanje, kaj je sploh smiselno testirati (smiselno je testirati pod-strani in elemente, ki imajo največji vpliv na rezultate in največ obiska)
  • Poglobljena analiza spletnega mesta, ki nam pomaga že vnaprej ugotoviti, kaj so potencialno najboljše rešitve

Pri pomembnejših testih pa je smiselno iti še globje. Ko smo npr. v Studio Moderni izvajali testiranja za Dormeo spletno trgovino, smo:

  • Začeli s fokusnimi skupinami, kjer smo skušali ugotoviti katere informacije potencialne stranke potrebujejo pri nakupni odločitvi, katere informacije na spletnem mestu pogrešajo, kateri faktorji najbolj vplivajo na njihovo nakupno odločitev itd.
  • Pri tem smo izvedli še nekaj manjših testov uporabnosti
  • Nato smo na podlagi rezultatov iz fokusnih skupin oblikovali anketo za vse obiskovalce spletnega mesta, ki smo jo na koncu tudi analizirali po segmentih glede na njihovo obnašanje na spletnem mestu in njihove nakupne odločitve
  • Končno smo začrtali plan testov in se jih lotili postopoma, pri tem pa vsak test na koncu tudi podrobno analizirali in na podlagi ugotovitev oblikovali prihodnje teste

Skozi ta proces jasno ne gremo za vsak test.

Pravzaprav pri le manjšem delu testov - pri tistih najpomembnejših in največjih.

5. Vzporedno testiranje skozi čas prinaša vse manj in manj dodatnih rezultatov

Optimizacija in testiranje največje rezultate prinašata na začetku optimizacijskega cikla, ko imamo opravka s prodajno precej neoptimiziranim spletnim mesto, nato pa skozi čas dodatna ustvarjena vrednost skozi optimizacijo postopoma upada.

To je seveda popolnoma logično. A kljub temu nekaj, na kar moramo biti pozorni, sploh če mislimo, da bomo z vsakim naslednjim testom ponovili uspehe prejšnjih testov.

Ravno tako ne pričakujte, da bo vsak test pokazal izboljšavo. V precej primerih se vam lahko zgodi, da bo osnovna različica imela boljši rezultat, kakor pa nova verzija.

6. Vsebina je prva, šele nato sledi forma

Mnogo tržnikov se pri svojih prvih korakih v testiranje odloča predvsem za strukturne teste, pri katerih skušajo občutno povečati konverzijo zgolj s premetavanjem različnih elementov znotraj posameznih pod-strani.

Sicer ima tudi takšno premetavanje elementov pomemben učinek, a v praksi so mnogo pomembnejši sledeči faktorji:

  • Jasno komuniciranje vrednosti za obiskovalca
  • Jasnost vsebine, ki obiskovalcu jasno in konkretno pove, kaj so prednosti ponudbe zanj
  • Prava ponudba (prava cena, pravi sprožilci, prave omejitve, prava vsebina ponudbe)
  • Maksimalna izpostavljenost pozivov k dejanju (pozivov k izvedbi konverzije)
  • Dobro delujoč konverzijski proces
  • Dostopnost vsebin, ki obiskovalcu odgovorijo na vsa vprašanja glede ponudbe

Vse to ima mnogo večji vpliv na rezultate, kakor pa če je določen element postavljen levo ali desno.

Ravno tako ima design spletnega mesta mnogo manjši vpliv, kakor si radi tržniki predstavljajo. Design je vsekakor pomemben, predvsem za vzbujanje kredibilnosti in zaupanje ter za ustrezne izpostavitve. Ne bo pa testiranje različnih manjših faktorjev v designu prineslo občutnih razlik.

7. Najhitrejše rezultate prinaša optimizacija procesov ... ki pa je ne testiramo

V okviru optimizacije lahko predvsem v spletni trgovini najboljši rezultat dosežete z optimizacijo prodajnega procesa.

Ampak, ravno optimizacija prodajnih procesov je tisto področje, kjer pravilo o vzporednih testih ne velja, temveč se raje odločimo za sekvenčni test. Zakaj?

Predvsem zato, ker je vzporedno testiranje prodajnih procesov precej kompleksno opravilo, ki preprosto vzame preveč časa in resursov, in ker je terminski vpliv pri prodajnih procesih, v primerjavi z drugimi elementi, še skoraj najmanjši.

8. Ne testirajte, kadar že vnaprej poznate rezultat

Velike in opazne razlike običajno dobimo pri testih, pri katerih smo zaradi njihove narave (npr. mnogo boljša ponudba, celostna optimizacija prodajnega procesa itd.) že vnaprej vedeli, da bodo uspešni in da bodo delovali boljše od originalne verzije.

Zakaj potem sploh izvedemo takšen test, če že vnaprej vemo, katera verzija bo zmagala, namesto da bi takoj prešli na novo verzijo?

  • Sami pri sebi uživamo s številkami in se želimo pohvaliti sami pred sabo, da nam je uspelo s spremembo spletnega mesta izboljšati rezultat.
  • Z uspešnimi spremembami spletnega mesta se želimo pohvaliti pred drugimi.
  • Potrebujemo samopotrditev, ki pa je pravzaprav nekoliko irelevantna, saj smo že vnaprej vedeli, da bo nova različica delovala boljše.

Skratka, predvsem zaradi svojega ega. Kar pa je precej slab razlog.

Zato načeloma testirajte le takrat, kadar resnično ne veste, katera različica bo delovala boljše. V nasprotnem primeru s testom izgubljate dragoceni čas in obiske, ki bi jih lahko namenili drugim testom.

No, seveda obstajajo tudi pri tem pravilu izjeme ...

Izjema #1: Moramo vedeti, za koliko bo rezultat boljši

Zamislite si, da ste odkrili izjemen recept (po vašem mnenju), s katerim boste potencialno občutno povečali konverzijo izdelčnih pod-strani vaše spletne trgovine.

Prepričani ste, da bo optimizacija prinesla boljši rezultat in da teoretično sploh ni smiselno testirati, ker že vnaprej veste, da bo rezultat boljši.

A če želite nato ta recept aplicirati na vse pod-strani vaše spletne trgovine, bo to zahtevalo ogromno resursov.

Morate torej ugotoviti, za koliko bo sprememba izboljšala rezultat in ali bo ta izboljšava upravičila dodatne stroške, ki bodo nastali z vpeljavo spremembe na vse izdelčne pod-strani, in ali bo ta izboljšava dodatne stroške upravičila bolj, kakor druge aktivnosti.

V tem primeru preprosto morate testirati, saj morate vedeti, za koliko bo optimizirana verzija res izboljšala rezultat.

Podobna velja tudi, če npr. želite poiskati optimalno ponudbo. Npr., kaj se zgodi, če izdelek ponudite z darilom? Bo dodatni strošek darila toliko povečal prodajo, da bo absolutni dobiček na koncu merljivo večji? Zopet dober razlog za testiranje ...

Izjema #2: Prepričati morate druge

Vi ste morda že 100%, da bo sprememba delovala boljše od trenutne verzije, a vam drugi (vaš manager, marketing oddelek itd.) ne verjamejo.

Najboljša pot je torej test, skozi katerega boste dokazali smiselnost spremembe.

9. Vedite, kdaj testirati

Glede na vse zgoraj povedano je ključno, da veste, kdaj testirati in kdaj ne. Kdaj torej testirati?

  • Kadar imate dovolj obiska in dovolj časa, da bo test zanesljiv
  • Kadar testirate različne ponudbe, ki jih boste pozneje predstavili tudi širši množici in preko dodatnih prodajnih kanalov
  • Kadar morate oceniti prispevek sprememb k rezultatom, saj nadaljevanje projekta zahteva veliko resursov
  • Kadar morate v smiselnost sprememb prepričati druge
  • Kadar resnično ne veste, ali bo sprememba pozitivno vplivala na rezultat ali ne oz. kadar iščete optimalno različico

10. Resni rezultati zahtevajo segmentacijo

Pri analizi rezultatov testov se nikar ne zaustavite le pri pavšalni analizi rezultatov kot celote, temveč poglejte "pod pokrov" in analizirajte rezultate glede na različne segmente obiskovalcev:

  • Glede na vir obiskovalcev (ključne besede, spletni mediji, oglasi itd.)
  • Glede na dan in čas obiska
  • Glede na uporabljeni brskalnik
  • Itd.

Mnogokrat bo ravno tovrstna segmentacija razkrila največje potenciale za izboljšave.

Ne verjamete?

V enem naših najznačilnejših testov so se največje razlike pokazale med obiskovalci, ki uporabljajo Internet Exporer in tistimi, ki uporabljajo Firefox.

Kaj smo nato z njimi naredili?

Eno verzijo naslovne strani smo začeli prikazovati uporabnikom z Internet Explorerjem, drugo pa tistim s Firefoxom.

11. Maksimalne rezultate boste dosegli s celostno uskladitvijo vrednostne verige

Splošna optimizacija spletnega mesta za vse obiskovalce bo vsekakor prinesla rezultate. A še več boste dosegli, če boste posamezne pristajalne strani optimizirali glede na njihove vire obiska, kot smo npr. že pokazali v članku o AdWords oglaševanju.

12. Hitre bonus lekcije

  • Kar je delovalo lani, ne bo nujno delovalo tudi letos, in obratno. Zato tudi že izvršene testne še kdaj ponovite.
  • Tudi ko ste test enkrat že izvedli, ga je vedno priporočljivo ponoviti še enkrat, pa četudi ste dobili statistično značilne rezultate. Statistika je eno, praksa pa drugo.

Za zaključek pa predvsem to:

Testirajte je ključno, zato testirajte.

A testirajte pametno!

Kaj pa so vaše izkušnje?

Komentarji članka (1)

To kar sem prebral je genialno - povzetek biblije analitike. Ne morem verjeti, da ni nobenega komentarja :-)

Avtor: Peter na 23.11.2010
Vnesite komentar
Zapomni si me:
Prepišite varnostno kodo:
Rok Hrastnik Avtor: Rok Hrastnik

Internetni tržnik in manager, ki verjame predvsem, da "Brez prodaje ne bo piškotov".

Trenutno med drugim odgovoren za internetno trženje in prodajo skupine Studio Moderna, na 20 trgih Srednje in vzhodne Evrope, z ekipo več kot 140 internetnih tržnikov, ki upravlja več kot 100 spletnih trgovin v regiji.

V prostem času mednarodni predavatelj (ZDA, Evropa), avtor in podjetnik.