ICE o PXL per decidere quale test A/B parte per primo.

ICE o PXL per decidere quale test A/B parte per primo. Il primo è facile da assegnare: tre numeri da 1 a 10, in un minuto. Il secondo è più lungo, e ogni punto lo devi dimostrare.

Il backlog cresce, i test no

Il backlog dei test cresce ogni settimana: l'idea del marketing sulla pagina prodotto, il dubbio sul checkout, il bottone che qualcuno vuole spostare. Di test però ne puoi far girare due o tre alla volta, quindi la domanda torna sempre uguale: quale parte per primo, e chi lo decide.

E qui arrivano i framework di prioritizzazione: un punteggio per ogni test, e la classifica la fa il punteggio. I due che funzionano meglio sono ICE e PXL.

Come funziona l'ICE

Con l'ICE ogni test riceve un voto su impatto, confidenza e sforzo, i tre numeri si moltiplicano e la lista si ordina da sola. Come idea è ottima.

Chi scrive quei tre numeri?

La domanda che mi faccio però è un'altra. Chi scrive quei tre numeri?

Impatto 8 lo scrive chi ha proposto il test. Confidenza 7 la scrive chi ci crede. Sforzo 3 lo scrive chi non lo deve sviluppare.

Dai lo stesso test a dieci persone e torni con dieci punteggi diversi, in una classifica che sembra oggettiva solo perché ha i decimali.

Peep Laja di Speero lo aveva scritto anni fa presentando il PXL: «how "easy" an A/B test is to implement could give you a range of answers depending on who you ask».

Il PXL fa domande sì o no

Il PXL funziona al contrario: domande a cui si risponde sì o no. La modifica si vede senza scorrere la pagina? Si nota in meno di cinque secondi? Sta su una pagina ad alto traffico?

Poi un punto in più per ogni prova che c'è dietro: un test con utenti, un feedback, una heatmap, un dato di analytics. Lo sforzo si misura in ore di sviluppo.

A compilarlo ci vuole più tempo, ed è la critica che gli fanno più spesso: per rispondere sì a «questa modifica nasce da un test con utenti reali?» quel test devi averlo fatto davvero, altrimenti la casella resta a zero per tutte le idee. E due domande restano comunque un giudizio: la motivazione dell'utente la decide chi compila, e le ore di sviluppo sono sempre una stima.

La differenza sta in riunione

Per me la differenza sta lì. Con l'ICE la discussione è «secondo me l'impatto è 8», e non si chiude mai. Con il PXL è «c'è una heatmap che lo dimostra, sì o no», e si chiude in dieci secondi.

Quello che il PXL lascia fuori

Una cosa però il PXL la lascia fuori: un'idea giusta senza prove finisce in fondo alla lista, e non ho ancora trovato un modo per tenerla a galla senza riaprire la porta ai voti a sensazione.

In sintesi

Un framework di prioritizzazione non serve a produrre il numero giusto, serve a far finire la discussione. L'ICE è rapido ma mette in classifica delle opinioni; il PXL costa più tempo e in cambio sposta il confronto da «secondo me» a «c'è una prova, sì o no». Il prezzo da pagare è che un'idea giusta ma senza dati a supporto resta indietro, e quel buco va tenuto d'occhio a mano.

E tu cosa scegli per prioritizzare i tuoi A/B test?