skip to main | skip to sidebar
18 commenti

12 regole per fiutare un articolo di scienza fuffaldina

Questo articolo vi arriva grazie alla gentile donazione di “rsigno*” e grazie alla segnalazione di @happy_cactus. Il suo testo, essendo traduzione di un documento su licenza Creative Commons, è liberamente copiabile e usabile secondo le norme della suddetta licenza.

Compoundchem.com ha pubblicato qualche tempo fa una bella infografica su come riconoscere un articolo che si ammanta di un'apparenza scientifica ma in realtà è fuffa nel migliore dei casi e truffa nel peggiore. L'ho tradotta al volo; se trovate errori o migliorie possibili, segnalatemele.

Guida rapida per riconoscere la cattiva scienza

1. Titoli sensazionalisti

I titoli degli articoli vengono concepiti normalmente per indurre i lettori a cliccare e leggere l'articolo. Nel caso migliore semplificano eccessivamente i risultati della ricerca; nel peggiore li esprimono con toni sensazionalisti e li presentano in modo distorto.


2. Risultati fraintesi

Gli articoli dei media generalisti a volte distorcono o interpretano male, intenzionalmente o meno, i risultati di una ricerca pur di tirarne fuori una buona storia. Se possibile, cercate di informarvi leggendo la ricerca originale invece di affidarvi all'articolo che l'ha usata come base.


3. Conflitto d'interessi

Molte aziende stipendiano gli scienziati per svolgere e pubblicare ricerche: anche se questo non invalida necessariamente una ricerca, occorre analizzarla tenendo presente questo fatto. La ricerca può inoltre essere presentata in modo ingannevole per un tornaconto personale o economico.


4. Correlazione e causalità

Diffidate della confusione fra correlazione e causalità. La correlazione tra due variabili non implica automaticamente che una sia la causa dell'altra. Il riscaldamento globale è aumentato dal 1800 e il numero dei pirati è diminuito, ma la penuria di pirati non causa il riscaldamento globale.


5. Linguaggio ipotetico

Le ipotesi che derivano da una ricerca sono semplicemente, appunto, ipotesi: fate attenzione a parole come “potrebbe”, “forse” e simili, perché è improbabile che la ricerca fornisca sostegno concreto alle conclusioni proposte dopo queste parole.


6. Campione troppo piccolo

Negli esperimenti, più è piccolo il campione, meno sono affidabili i risultati ottenuti da quel campione. Le conclusioni che vengono tratte vanno valutate tenendone conto, anche se a volte un campione ristretto è inevitabile. Se un campione più grande era disponibile ma non è stato usato, questo può essere motivo di sospetto.


7. Campioni non rappresentativi

Nella sperimentazione umana, i ricercatori tendono a selezionare individui che rappresentano una popolazione più ampia. Se il campione è differente dall'intera popolazione, le conclusioni possono essere altrettanto differenti.


8. Mancanza di un gruppo di controllo

Nei test clinici, i risultati dei soggetti di un test vanno confrontati con un “gruppo di controllo” al quale non è stata somministrata la sostanza testata. I gruppi dovrebbero inoltre essere assegnati in modo casuale. Negli esperimenti generali, è necessario usare un test di controllo nel quale sono controllate tutte le variabili.


9. Mancato uso di test in cieco

Per evitare qualunque distorsione, i soggetti non devono sapere se fanno parte del gruppo di test o del gruppo di controllo. Nei test in doppio cieco, neppure i ricercatori devono sapere a quale dei due gruppi appartiene un soggetto fino a dopo la conclusione del test. Va notato che il test in cieco non è sempre fattibile o eticamente accettabile.


10. Risultati selezionati ad arte

La selezione ad arte sceglie dagli esperimenti i dati che avvalorano la conclusione di una ricerca e ignora quelli contrari. Se un articolo di ricerca trae conclusioni da una selezione dei propri risultati invece che da tutti, può darsi che stia facendo selezione ad arte (cherry-picking).


11. Risultati non replicabili

I risultati devono essere replicabili da una ricerca indipendente e verificati in una vasta gamma di condizioni (se possibile) per assicurarsi che siano generalizzabili. Affermazioni straordinarie richiedono prove straordinarie: in altre parole, richiedono molto più di un singolo studio indipendente.


12. Riviste e citazioni

Una ricerca pubblicata nelle riviste scientifiche più importanti avrà subìto un processo di revisione, ma può essere comunque difettosa, per cui va valutata tenendo conto di questi fatti. Allo stesso modo, un numero elevato di citazioni non implica necessariamente che una ricerca è tenuta in alta considerazione.
Invia un commento
I commenti non appaiono subito, devono essere tutti approvati da un moderatore. Lo so, è scomodo, ma è necessario per tenere lontani scocciatori, spammer, troll e stupidi: siate civili e verrete pubblicati qualunque sia la vostra opinione; gli incivili di qualsiasi orientamento non verranno pubblicati, se non per mostrare il loro squallore.
Inviando un commento date il vostro consenso alla sua pubblicazione, qui o altrove.
Maggiori informazioni riguardanti regole e utilizzo dei commenti sono reperibili nella sezione apposita.
NOTA BENE. L'area sottostante per l'invio dei commenti non è contenuta in questa pagina ma è un iframe, cioè una finestra su una pagina di Blogger esterna a questo blog. Ciò significa che dovete assicurarvi che non venga bloccata da estensioni del vostro browser (tipo quelle che eliminano le pubblicità) e/o da altri programmi di protezione antimalware (tipo Kaspersky). Inoltre è necessario che sia permesso accettare i cookie da terze parti (informativa sulla privacy a riguardo).
Commenti
Commenti (18)
Il punto 4. e' il famoso "post hoc, ergo propter hoc", molto abusato nell'informatica "oracolare" in cui si sentono affermazioni del tipo "una volta ho installato il browser PinkoPallo e il giorno dopo mi e' saltato l'alimentatore del PC. Io PinkPallo non lo instalo piu'!!!"
Purtroppo siamo pieni, oltre che di studi (tipo quelli sui cerchi nel grano) che servono a fare soldi da parte di chi li divulga, anche di prodotti "scientifici" che "seguono gli stessi 12 punti" dell'articolo.

Recentemente hanno cercato di propinarmi dei "coperchi magici" per pentole che permetterebbero anche la frittura delle patatine con l'olio mantenuto a temperatura ambiente.
Mia moglie è stata invitata a casa di un'amica dove hanno tenuto una dimostrazione.

Più chiedevo cosa c'entrassero dei buchi nel coperchio con la frittura delle patatine con l'olio freddo, più la dimostratrice parlava di vapori distillati e principio di Venturi.
Abbiamo evitato di fare altre domande per non compromettere l'amicizia con la padrona di casa perché mi sono accorto che stavo irritando tutti gli invitati (capita anche questo) e ci siamo limitati a non comprare il coperchio che non costa nemmeno poco.
Però a questo punto Guastulfo devi dirci il marchio di questi coperchi magici, giusto per soddisfare la nostra curiosità.
Mia moglie è stata invitata a casa di un'amica dove hanno tenuto una dimostrazione

Ecco, le parole "invitare", "casa" e "dimostrazione" andrebbero aggiunte tra i campanelli di allarme di truffa/fuffa imminente. Ne avevo sentite tante (e una l'ho subita di persona, il Kirby), ma i coperchi mi mancavano. Forse dovresti segnalarli a qualche associazione di consumatori o direttamente alle autorità. Tra l'altro, se si tratta di vendita piramidale, è illegale tout court.
@Van Fanel
No, non si tratta di vendita piramidale.
Semplicemente il/la rappresentante va a casa del sig/ra Rossi. Usando i prodotti alimentari di casa sua viene fatta la dimostrazione. Per il disturbo, l'ospite ha diritto ad un coperchio omaggio oltre a quello che acquista e lì stesso si fissa l'appuntamento per andare a casa di un altro che inviterà altri amici.

@Sbudellorum
No. Non lo dico il marchio del coperchio. Sarebbe pubblicità, per giunta a casa di un ospite ;-)
io metterei causalità invece di causazione
" il numero dei pirati è diminuito, ma la penuria di pirati non causa il riscaldamento globale."
In quanto Pastafariano in pectore, dissento da questa affermazione.
Che il Sacro Spaghetto possa illuminarti.
@ Van Fan

Purtroppo, come si suol dire "fatta la legge, trovato l'inganno". Le strutture piramidali moderne trovano la scappatoia proprio nella vendita di prodotti. Vendendo quelli il fatto di tirar dentro sottoposti diventa un surplus di percentuali sule vendite, sia dirette che dei sottoposti. Non c'è un guadagno diretto dalla struttura ma indiretto dalle vendite che essa genera.
Ciao Paolo, ovviamente la traduzione è ottima, io cambierei solo "le conclusioni possono essere altrettanto differenti" nel punto 7 con "le conclusioni possono essere anch'esse differenti"; nel senso che non è detto che le conclusioni siano tanto differenti dalla realtà quanto il campione è differente dalla popolazione. (Non è una piccolezza, è ancora meno, me ne rendo conto).

Sempre in tema di infografiche antibufaline: ho tradotto in italiano questa. Può interessare?
Salve a tutti, premetto che segue da molto questo blog senza però mai intervenire, ma questa volta essendo un argomento vicino alla mia professione (sono un biologo che lavora spesso in studi clinici) mi permetto di intervenire col mio primo post.
I 12 punti sono divertenti ma non sempre corretti, almeno per chi è del settore che li può ritrovare simpatici, spesso veritieri (ricordo molti estati in cui parellalemete all'ennesima emergenza sangue si parlava dell'imminente immissione sulla piazza del sangue artificiale) ma che sicuramente non li può condividere al 100%.
Vado subito a fare un esempio: il punto 6 non è sempre vero in quanto tutto dipende dalla potenza statistica della ricerca che si sta effettuando.
Esempio pratico: se un nuovo farmaco una volta somministrato fosse in grado di curare istantaneamente i pazienti (per esempio per una patologia tumorale) in linea di principio basterebbero pochissimi casi (decine, non migliaia) per poterne verificare il corretto funzionamento.
Diversamente un effetto molto più piccolo richiederebbe numerosissimi casi (centinaia di migliaia) perchè possa essere verificato come reale e non come semplice variabilità dovuta del caso (ad esempio aumentare la sopravivvenza media di un paziente oncologico di un solo giorno).
[quote]Il riscaldamento globale è aumentato dal 1800 e il numero dei pirati è diminuito, ma la penuria di pirati non causa il riscaldamento globale.[/quote]
Nel XIX e XX secolo hanno preso il via tutte le correnti di arte moderna che poi sono state raggiunte dall'arte contemporanea: chiaramente sono queste la causa del riscaldamento globale! Pensate solo agli effetti dell'impressionismo, dell'astrattismo o del liberty! :-D
Tutti,

ho corretto "causazione" in "causalità". Grazie della correzione.


Domenico,

concordo con quello che dici; credo che queste siano regole di massima, utili nella maggioranza dei casi per i profani confrontati con le "notizie" di scienza che vengono rigurgitate dai media, ma non siano dei principi assoluti.
Sapete che soltanto il 54% dei viaggiatori europei allaccia le cinture quando siede sui sedili posteriori dell'auto, nonostante il codice della strada lo imponga? L'ho scoperto sull'ultimo numero di Focus!
Bla78. Se proprio devi spammare, fai almeno che sia a tema...
@ Maria Rosa

Le cause del riscaldamento globale sono le mutande femminili.
E' anche colpa tua!
cause del riscaldamento globale
[quote-"Giuliano47"]@ Maria Rosa

Le cause del riscaldamento globale sono le mutande femminili.
E' anche colpa tua!
[/quote]
OH NOOOO! =(
Che faccio? Torno ai mutandoni ascellari? Smetto di portarle?
E io che iniziavo a pensare che il riscaldamento globale fosse a causa della fotografia: tutti quei sali d'argento e i vapori di fosforo e magnsio hanno generato scie chimiche per tutto il globo terrestre... che ancora oggi interagiscono con i campi elettromagnetici prodotti dagli scatti di milioni di macchine digitali e telefonini...
" il numero dei pirati è diminuito, ma la penuria di pirati non causa il riscaldamento globale."

Qui si invertono causa ed effetto. Siccome c'e' il riscaldamento globale e le creme solari invece non sono nate nel 1800, i pirati sono diminuiti. Ne ho le prove sciiiientifiche.
Concordo che queste indicazioni possano essere utili per un NON addetto ai lavori al fine di di formarsi una prima idea personale
Ma questi criteri non può essere usato da uno studioso o da una scienziato per esprimere un "pre-giudizio" su un lavoro altrui. Lo scienziato, il peer review, deve giudicare sui contenuti. Esistono discipline dove l'uso del linguaggio ipotetico è giustificato e necessario quando le ipotesi proposte hanno buone basi.
Usare questi metodi è grave se chi deve esprimere in giudizio li usa per evitare la fatica di leggere e cercare di capire i lavori altrui.