12 regole per fiutare un articolo di scienza fuffaldina

Questo articolo vi arriva grazie alla gentile donazione di “rsigno*” e grazie alla segnalazione di @happy_cactus. Il suo testo, essendo traduzione di un documento su licenza Creative Commons, è liberamente copiabile e usabile secondo le norme della suddetta licenza.

Compoundchem.com ha pubblicato qualche tempo fa una bella infografica su come riconoscere un articolo che si ammanta di un'apparenza scientifica ma in realtà è fuffa nel migliore dei casi e truffa nel peggiore. L'ho tradotta al volo; se trovate errori o migliorie possibili, segnalatemele.

Guida rapida per riconoscere la cattiva scienza

1. Titoli sensazionalisti

I titoli degli articoli vengono concepiti normalmente per indurre i lettori a cliccare e leggere l'articolo. Nel caso migliore semplificano eccessivamente i risultati della ricerca; nel peggiore li esprimono con toni sensazionalisti e li presentano in modo distorto.


2. Risultati fraintesi

Gli articoli dei media generalisti a volte distorcono o interpretano male, intenzionalmente o meno, i risultati di una ricerca pur di tirarne fuori una buona storia. Se possibile, cercate di informarvi leggendo la ricerca originale invece di affidarvi all'articolo che l'ha usata come base.


3. Conflitto d'interessi

Molte aziende stipendiano gli scienziati per svolgere e pubblicare ricerche: anche se questo non invalida necessariamente una ricerca, occorre analizzarla tenendo presente questo fatto. La ricerca può inoltre essere presentata in modo ingannevole per un tornaconto personale o economico.


4. Correlazione e causalità

Diffidate della confusione fra correlazione e causalità. La correlazione tra due variabili non implica automaticamente che una sia la causa dell'altra. Il riscaldamento globale è aumentato dal 1800 e il numero dei pirati è diminuito, ma la penuria di pirati non causa il riscaldamento globale.


5. Linguaggio ipotetico

Le ipotesi che derivano da una ricerca sono semplicemente, appunto, ipotesi: fate attenzione a parole come “potrebbe”, “forse” e simili, perché è improbabile che la ricerca fornisca sostegno concreto alle conclusioni proposte dopo queste parole.


6. Campione troppo piccolo

Negli esperimenti, più è piccolo il campione, meno sono affidabili i risultati ottenuti da quel campione. Le conclusioni che vengono tratte vanno valutate tenendone conto, anche se a volte un campione ristretto è inevitabile. Se un campione più grande era disponibile ma non è stato usato, questo può essere motivo di sospetto.


7. Campioni non rappresentativi

Nella sperimentazione umana, i ricercatori tendono a selezionare individui che rappresentano una popolazione più ampia. Se il campione è differente dall'intera popolazione, le conclusioni possono essere altrettanto differenti.


8. Mancanza di un gruppo di controllo

Nei test clinici, i risultati dei soggetti di un test vanno confrontati con un “gruppo di controllo” al quale non è stata somministrata la sostanza testata. I gruppi dovrebbero inoltre essere assegnati in modo casuale. Negli esperimenti generali, è necessario usare un test di controllo nel quale sono controllate tutte le variabili.


9. Mancato uso di test in cieco

Per evitare qualunque distorsione, i soggetti non devono sapere se fanno parte del gruppo di test o del gruppo di controllo. Nei test in doppio cieco, neppure i ricercatori devono sapere a quale dei due gruppi appartiene un soggetto fino a dopo la conclusione del test. Va notato che il test in cieco non è sempre fattibile o eticamente accettabile.


10. Risultati selezionati ad arte

La selezione ad arte sceglie dagli esperimenti i dati che avvalorano la conclusione di una ricerca e ignora quelli contrari. Se un articolo di ricerca trae conclusioni da una selezione dei propri risultati invece che da tutti, può darsi che stia facendo selezione ad arte (cherry-picking).


11. Risultati non replicabili

I risultati devono essere replicabili da una ricerca indipendente e verificati in una vasta gamma di condizioni (se possibile) per assicurarsi che siano generalizzabili. Affermazioni straordinarie richiedono prove straordinarie: in altre parole, richiedono molto più di un singolo studio indipendente.


12. Riviste e citazioni

Una ricerca pubblicata nelle riviste scientifiche più importanti avrà subìto un processo di revisione, ma può essere comunque difettosa, per cui va valutata tenendo conto di questi fatti. Allo stesso modo, un numero elevato di citazioni non implica necessariamente che una ricerca è tenuta in alta considerazione.