Abbiamo letto un libro edito nel secondo semestre del 2020 dalla Harvard Business Publishing: “Experimentation works. The surprising power of business experiments” di S. Thomke, un professore di Innovation Management.
È un libro che racconta diversi casi in cui grandi organizzazioni hanno condotto degli esperimenti di validazione dell’offerta e del prodotto in modo strutturato ed estensivo, sia in ambito digitale che non-digitale.
Con ‘esperimento’ l’autore intende l’elaborazione di un modello del prodotto (a bassa od alta fedeltà) e il suo utilizzo in un contesto scientifico-sperimentale. Cioè previa formulazione di ipotesi falsificabili, e di un ambiente di sperimentazione corretto dal punto di vista statistico.
La tesi è che prendere decisioni sulla base dell’opinione, della sensazione o dell’esperienza di una o più persone è … stupido:
Perché le opinioni, le sensazioni e la memoria dell’esperienza sono il risultato di moltissimi bias e quindi sono altamente fallibili
Perché esistono best practices che permettono di prendere la stessa decisione sulla base di fatti, a costi molto bassi
Organizzazioni molto famose, come Booking.com, Amazon, Microsoft, IBM, Intuit, Sky UK, Facebook, Google, Apple, Expedia, Bank of America, hanno adottato il metodo scientifico sperimentale in modo capillare: chiunque può lanciare un esperimento senza chiedere approvazioni, ed usarlo per prendere decisioni.
In alcuni casi non solo ‘può’, ma piuttosto, ‘deve’. Nessun modifica al prodotto viene apportata senza che venga fatto uno (o più) esperimenti. In queste organizzazioni il mandato ‘culturale’ viene dall’alto: si deve procedere scientificamente, producendo innovazione e crescita attraverso la messa in discussione sistematica di tutte le opinioni.
““Un esperimento non potrà mai darti ragione, potrà solo darti torto” ”
Viene spesso citata la lettera di Bezos agli shareholders, del 2018, e quindi vengono prese in analisi alcune pratiche di Amazon.
Nel caso di prodotti digitali consumer, per loro, si tratta di fare degli A/B test, cioè test che coinvolgono due versioni (una modificata e una di controllo) dello stesso modello, e che vengono sottoposte per una media di 2-3 settimane a migliaia di utenti.
Nel caso di altre aziende non si tratta di prodotti digitali, ma ad esempio del layout di un supermercato, o del design di una barca da competizione; in questi casi le strategie sperimentali sono più complesse, ma il principio rimane sempre lo stesso. Le organizzazioni citate hanno sviluppato proprie piattaforme di testing, che permettono anche di capitalizzare i learning di ciascun esperimento, e condividerli in modo trasparente con tutti i dipendenti, in modo da massimizzare il ROE, ed evitare sprechi / ridondanze.
Vengono citate organizzazioni che hanno sia modelli di business B2C che B2B, dal team New Zeland che ha vinto l’America’s Cup a Booking.com, a cui è dedicato un intero capitolo. Un’azienda come Booking è il risultato di anni, lustri, di preparazione e trasferimento di una cultura della sperimentazione al management, prima, e ai dipendenti, poi. Il management, specialmente il middle-management, è la fascia più resistente. La leadership è necessaria. E’ necessario che i leader stessi sottopongano le loro decisioni allo scrutinio sperimentale, esattamente come tutti gli altri.
In queste organizzazioni la maggior parte dei dipendenti sono addestrati ad utilizzare il metodo scientifico, perchè senza l’utilizzo di esso in sostanza non possono proporre cambiamenti.
Come mettere in pratica questi concetti
Le formule organizzative che Thomke passa in rassegna sono tre, e di ognuna vengono analizzati pro e contro.
Centralizzata (un gruppo ristretto di analisti fa gli esperimenti per tutti)
Distribuita (in tutti i team ci sono analisti, o tutti hanno una cultura analitica)
Center of excellence
Indipendentemente da quale si scelga, si deve innanzitutto comprendere che non ci sono soluzioni che funzionino per tutti, e che quello che si ha davanti è un viaggio di ricerca. Questo viaggio comincia con numeri piccoli e ad un certo punto (quando si trova la strada giusta) prende velocità e riesce a procedere spedito.
Uno dei modi possibili per iniziare, è quello di lanciare delle challenge, durante le quali alcuni team sono invitati a sperimentare. In questo modo si innesca il processo in maniera efficace, ma si genera spesso un problema. I dipendenti che dedicano una parte del loro tempo a sperimentare, si lamentano che non riescono a centrare i loro obiettivi di produttività. E non appena i loro obiettivi vengono corretti, gli altri colleghi non coinvolti si lamentano che questi passano il tempo a giocare con gli esperimenti.
Ricordiamoci quindi: è un viaggio di scoperta.
Sui dati e sulle ipotesi
Ma perchè affrontare questa enorme sfida organizzativa quando ci sono i big data? In più punti del libro, emerge un dialogo possibile fra metodo scientifico sperimentale e big data. In breve: i big data sono un’ottima fabbrica di ipotesi, spunti, da vagliare sperimentalmente. I big data infatti producono inferenze sulla correlazione tra eventi. L’ipotesi sperimentale invece è incardinata sul nesso causale, che è il vero ingrediente della comprensione (learning) e della decisione conseguente. Non sono ‘metodi alternativi’, ma dialogano a differenti livelli della pipeline.
L’alternanza fra la ricerca di dati e la formulazione di ipotesi è presente in molti casi. Tra tutti, ci piace citare l’esperimento di una catena di supermercati, che ha voluto verificare l’ipotesi che una nuova tecnologia di illuminazione a LED aumentasse la riconoscibilità dell’ingresso e quindi il tasso di acquisizione. I risultati sono stati ambivalenti. In alcuni casi l’impatto era positivo, in altri molto negativo. Allora gli analisti hanno voluto capire perchè, negativo. Hanno capito che i gestori si erano già attrezzati per rinforzare autonomamente l’apparato di luci all’ingresso. Dovendo sostituire questo ‘albero di natale’ con un sistema standard di luci, per quanto a LED, il risultato è stato peggiorativo. Ecco un esempio di come dei dati, anche quando sono parzialmente discordanti, se vengono analizzati correttamente riescono a svelare all’azienda dei miglioramenti possibili.
I sette miti
Interessanti infine, i sette miti sulla Business Experimentation. Meriterebbero un articolo aparte, noi per adesso ve li elenchiamo qui sotto, e vi invitiamo alla letture del bel libro di Thomke.
