In alcuni degli ultimi articoli di questo blog abbiamo esaminato diverse tecniche per costruire questionari efficaci e corretti. L’attività di costruzione del questionario va tuttavia sottoposta a verifica e controllo prima di realizzare effettivamente le interviste sul campo. Uno degli strumenti più utili allo scopo è il cosiddetto pre-test del questionario. Il pre-test ha come obiettivo quello di aumentare la validità e l’affidabilità dell’indagine: quando si sottopongono i questionari al pre-test, ci si concentra su come le persone rispondono alle nostre domande dato che ci sono una moltitudine di processi diversi che i nostri intervistati potrebbero mettere in atto quando rispondono, non tutti prevedibili e non tutti coerenti con i nostri obiettivi. Lo scopo finale è assicurarci che i rispondenti interpretino e rispondano alle domande nel modo per noi più appropriato, ovvero coerentemente con le nostre intenzioni. Il pre-test ci aiuterà a determinare se i rispondenti comprendono le domande e se possono disporre delle informazioni richieste dalle domande. I pre-test forniscono anche una prova più diretta di validità dei dati del questionario per la maggior parte degli items dell’intervista.
Le dimensioni sottoposte a verifica
Le principali caratteristiche del questionario che possono essere sottoposte al test sono:
- la formulazione delle domande
- le opzioni di risposta
- i filtri
- le istruzioni per l’intervistatore
- l’ordine (delle sezioni, delle domande)
- la completezza
- la durata e l’impegno percepito
- la grafica (solo nel caso di questionario autocompilato).
Le tipologie di pre-test
In questo post co concentreremo solo sull’essenza del pre-test, ovvero la verifica di efficacia del questionario. Alcuni autori includono nelle procedure di pre-test una serie di tecniche che per quanto mi riguarda attengono alla fase di progettazione del questionario, quindi alla fase precedente a quella di verifica. Altri, includono invece nell’ambito del pre-test altre tecniche che più opportunamente possono essere considerate di post-test. E’ il caso, ad esempio, della verifica delle modifiche che si verificano nelle distribuzioni di frequenza di indagini panel dopo aver introdotto modifiche alla formulazione di uno o più quesiti.
Ciò premesso, distinguiamo anzitutto tra a) Test “di laboratorio” interni e b) pre-test sul campo.
I test interni sono il primo step immediato quando il team di ricerca è articolato in più figure e la capacità analitica e l’expertize delle risorse interne è di buon livello. I test interni comprendono:
- verifiche analitiche svolte da esperti in ricerche di mercato del team
- test di durata, sia dell’intero questionario che di singole sezioni, svolti attraverso più simulazioni di intervista con personale interno
- simulazioni di intervista completa, con conduzione ad opera degli intervistatori dell’istituto.
Ciascuna di queste attività può concludersi con la realizzazione di un debriefing nel quale si esaminano le problematiche emerse e le relative soluzioni possibili. Il debriefing può essere preceduto dalla redazione di note di commento a cura degli esperti o degli intervistatori.
Nella mia esperienza i test interni sono utili soprattutto per stimare la durata del questionario e quindi per raggiungere il giusto equilibrio tra informazioni assunte e impegno richiesto agli intervistati, oltre che il giusto equilibrio tra informazioni acquisite e costo delle interviste (nel caso di interviste CATI, CAPI, o face to face). Tutte le altre caratteristiche da verificare richiedono invece un pre-test sul campo.
Pre-test sul campo.
Nell’ambito dei pre-test sul campo è utile introdurre un’ulteriore distinzione tra i) test in condizioni operative e ii) test sperimentali o cognitive interviews.
Il test in condizioni operative prevede la riproduzione di una situazione di intervista del tutto analoga a quella prevista a regime. Ad esempio, se dobbiamo svolgere interviste di customer satisfaction su un servizio di trasporto pubblico, svolgeremo il pre-test realizzando alcune interviste a bordo mezzo o in stazione (o pensiline, fermate, banchine, moli, ecc, in base alla natura del servizio di trasporto), selezionando casualmente gli intervistati con le medesime procedure previste a regime, nonché somministrando il questionario per intero dall’inizio alla fine. Questo approccio consente di verificare le problematiche operative, (quindi anche quelle non correlate al questionario), oltre che essere utile per verificare il questionario in merito alle caratteristiche elencate in precedenza. L’analisi delle risposte ottenute potrà far emergere eventuali incomprensioni o incertezze, soprattutto in relazione alle domande a risposta aperta. L’applicazione di test come l’alfa di Cronbach potrà inoltre segnalarci la presenza di fenomeni di “risposta automatica” in determinate aree del questionario e in particolare nelle batterie multi-item; l’introduzione di alcune domande di controllo potrà far emergere eventuali incomprensioni, e così via. Il test in condizioni operative consente di coinvolgere l’intervistatore nella valutazione ex-post delle proprie esperienze di intervista. L’intervistatore è infatti l’unico, in questa tipologia di pre-test, a poter valutare eventuali incertezze dell’intervistato, reazioni di fastidio o sgomento, richieste di chiarimento, ecc. L’intervistatore sarà pertanto chiamato a segnalare tali reazioni e a valutare egli stesso il questionario, o attraverso il suo coinvolgimento in un debriefing collettivo, oppure attraverso la compilazione di un breve questionario di feedback. Per questo tipo di operazioni è consigliabile il coinvolgimento degli intervistatori più esperti. Sottolineo però che in alcune situazioni il contributo dell’intervistatore non è disponibile. E’ il caso delle indagini che prevedono l’autocompilazione del questionario, come le indagini CAWI. In quel caso le uniche risultanze sulle quali basare l’analisi di efficacia del questionario sono affidate all’analisi dei dati raccolti (congruenza, durata, interruzioni, risposte aperte fuori tema…). Oggettivamente troppo poco, anche se in determinate situazioni sarà possibile raccogliere anche una valutazione finale dell’intervistato, ma stiamo già sconfinando in questo caso in qualcosa di più simile al test sperimentale, che tratteremo nella prossima sezione. Prima di procedere vorrei sottolineare che a volte, per superficialità ed inesperienza, si possono realizzare dei pre-test per niente utili e che anzi possono ingenerare confusione. E’ il caso dei questionari destinati a essere somministrati in modalità face to face che vengono spediti ad amici e conoscenti perché “già che ci sei per favore compilami questo”. Un questionario destinato a essere compilato in modalità face to face o autocompilato ma in modalità assistita non può essere dato in pasto a una autocompilazione non assistita, pena la raccolta di osservazioni improprie e che mai si sarebbero verificate nell’intervista a regime. Il risultato? Confusione su confusione…
Test sperimentali / Cognitive Interviews
I test che ho definito sperimentali sono costruiti in effetti come un vero e proprio esperimento. Un esperimento di intervista. La realizzazione di tali test prevede la somministrazione del questionario in modalità face to face, con un tempo a disposizione che oscilli però tra il doppio e il triplo della durata stimata dell’intervista. Il motivo della dilatazione dei tempi è dovuto al fatto che oltre a compilare il questionario, il rispondente sarà chiamato a passare in rassegna il questionario dopo la compilazione, segnalando le eventuali difficoltà a rispondere, eventuali stati d’animo negativi, l’eventuale mancanza di opzioni di risposta che lo rappresentino, ecc.
Esaminiamo nei dettagli il format standard per il pre-test sperimentale, dopo di che esamineremo alcune varianti.
- è preferibile che siano presenti due persone del team di ricerca, A) un intervistatore esperto che condurrà l’intervista, se e solo se l’intervista a regime viene somministrata in modalità face to face o CATI, B) un membro del team dei ricercatori per poter interloquire con l’intervistato sui contenuti specifici del questionario. Se l’indagine prevede una autocompilazione sarà presente solo la figura B
- l’intervistato sarà informato sul metodo di svolgimento del test e sui suoi scopi. Sarà invitato quindi a compilare il questionario (per la compilazione si seguirà la metodologia prevista a regime) per intero, facendo attenzione alla difficoltà e alle particolarità incontrate durante la compilazione. Nella pratica il rispondente può essere invitato ad evidenziare eventuali domande o risposte problematiche, senza interrompere la compilazione, o a contrassegnarle con determinati simboli.
- Durante il test, la figura B dovrebbe situarsi vicino all’intervistato in modo da osservarlo durante la compilazione. A mano a mano che il soggetto completa il questionario, egli dovrebbe annotare il tempo approssimativo necessario per completare ogni pagina o sezione all’interno del questionario. Le difficoltà potenziali possono essere identificate annotando cancellazioni, domande saltate, istruzioni errate o trascurate, domande che richiedono un tempo insolitamente lungo per rispondere e domande che evocano una sorta di reazione come una smorfia o un sospiro. Anche le incoerenze nelle risposte dovrebbero anche essere annotate e discusse più avanti.
- A questionario compilato inizia l’analisi congiunta del questionario. In genere, l’intervistatore (con l’assistenza della figura B) avrà a disposizione una check-list da sottoporre al rispondente in corrispondenza delle domande potenzialmente più problematiche. In ogni caso prima di passare in rassegna il questionario, l’intervistatore chiederà innanzitutto al rispondente quali sono le sue impressioni generali sul sondaggio: cosa pensa che stiamo cercando di scoprire, se il sondaggio sembra o meno obiettivo e non parziale, se ci sono domande specifiche che trova problematiche. Nel passare in rassegna il sondaggio, verranno esaminate più a fondo le possibili domande problematiche – cosa pensava che la domanda volesse intendere, eventuale richiesta di parafrasi della domanda (per verificare se il senso è stato effettivamente colto), se le opzioni di risposta fossero chiare ed esaurienti, ecc.
- L’analisi congiunta terminerà con una serie di domande generali predefinite, al riguardo della completezza del questionario, se l’argomento è stato esaminato in modo completo o cosa NON è stato chiesto, se ci sono domande troppo delicate, se la durata complessiva è adeguata…
Ovviamente dovranno essere realizzate più interviste-test, di norma almeno una ventina, distribuite in modo equilibrato rispetto alle varie tipologie di destinatari, rispetto al territorio oggetto di indagine e così via. Nel corso di un test di questo tipo, se l’intervista è di tipo face to face, la figura B del team potrà anche osservare e rilevare le cosiddette dinamiche interpersonali di intervista, ovvero le dinamiche di reciproca interazione tra intervistatore e intervistato. In particolare: richieste di chiarimento, risposte date prima che la domanda fosse formulata per intero, reazioni particolari dell’intervistato, eventuali difficoltà o esitazioni dell’intervistatore… Il test può essere arricchito dalla raccolta di osservazioni aggiuntive dell’intervistatore, rese in un secondo momento, anche attraverso un debriefing collettivo con altri intervistatori e membri del team coinvolti nei pre-test. 
Una interessante variante al tema è quella della cognitive interview think aloud, ovvero il “pensare a voce alta”. All’intervistato è richiesto in questo caso di verbalizzare i suoi pensieri subito dopo la formulazione/lettura della domanda, prima o durante l’atto di dare (/apporre) la risposta. Attraverso questo procedimento si può andare molto a fondo nell’analisi dei processi mentali indotti dalla formulazione della domanda, potendo così verificare in modo più analitico l’aderenza alle intenzioni del team di ricerca. Naturalmente questa variante non consente di effettuare il test di durata del questionario.
Link al Blog di Sandro Savoldelli – ricercatore di marketing ⇒