Cerca nel blog

2014/07/13

12 regole per fiutare un articolo di scienza fuffaldina

Questo articolo vi arriva grazie alla gentile donazione di “rsigno*” e grazie alla segnalazione di @happy_cactus. Il suo testo, essendo traduzione di un documento su licenza Creative Commons, è liberamente copiabile e usabile secondo le norme della suddetta licenza.

Compoundchem.com ha pubblicato qualche tempo fa una bella infografica su come riconoscere un articolo che si ammanta di un'apparenza scientifica ma in realtà è fuffa nel migliore dei casi e truffa nel peggiore. L'ho tradotta al volo; se trovate errori o migliorie possibili, segnalatemele.

Guida rapida per riconoscere la cattiva scienza

1. Titoli sensazionalisti

I titoli degli articoli vengono concepiti normalmente per indurre i lettori a cliccare e leggere l'articolo. Nel caso migliore semplificano eccessivamente i risultati della ricerca; nel peggiore li esprimono con toni sensazionalisti e li presentano in modo distorto.


2. Risultati fraintesi

Gli articoli dei media generalisti a volte distorcono o interpretano male, intenzionalmente o meno, i risultati di una ricerca pur di tirarne fuori una buona storia. Se possibile, cercate di informarvi leggendo la ricerca originale invece di affidarvi all'articolo che l'ha usata come base.


3. Conflitto d'interessi

Molte aziende stipendiano gli scienziati per svolgere e pubblicare ricerche: anche se questo non invalida necessariamente una ricerca, occorre analizzarla tenendo presente questo fatto. La ricerca può inoltre essere presentata in modo ingannevole per un tornaconto personale o economico.


4. Correlazione e causalità

Diffidate della confusione fra correlazione e causalità. La correlazione tra due variabili non implica automaticamente che una sia la causa dell'altra. Il riscaldamento globale è aumentato dal 1800 e il numero dei pirati è diminuito, ma la penuria di pirati non causa il riscaldamento globale.


5. Linguaggio ipotetico

Le ipotesi che derivano da una ricerca sono semplicemente, appunto, ipotesi: fate attenzione a parole come “potrebbe”, “forse” e simili, perché è improbabile che la ricerca fornisca sostegno concreto alle conclusioni proposte dopo queste parole.


6. Campione troppo piccolo

Negli esperimenti, più è piccolo il campione, meno sono affidabili i risultati ottenuti da quel campione. Le conclusioni che vengono tratte vanno valutate tenendone conto, anche se a volte un campione ristretto è inevitabile. Se un campione più grande era disponibile ma non è stato usato, questo può essere motivo di sospetto.


7. Campioni non rappresentativi

Nella sperimentazione umana, i ricercatori tendono a selezionare individui che rappresentano una popolazione più ampia. Se il campione è differente dall'intera popolazione, le conclusioni possono essere altrettanto differenti.


8. Mancanza di un gruppo di controllo

Nei test clinici, i risultati dei soggetti di un test vanno confrontati con un “gruppo di controllo” al quale non è stata somministrata la sostanza testata. I gruppi dovrebbero inoltre essere assegnati in modo casuale. Negli esperimenti generali, è necessario usare un test di controllo nel quale sono controllate tutte le variabili.


9. Mancato uso di test in cieco

Per evitare qualunque distorsione, i soggetti non devono sapere se fanno parte del gruppo di test o del gruppo di controllo. Nei test in doppio cieco, neppure i ricercatori devono sapere a quale dei due gruppi appartiene un soggetto fino a dopo la conclusione del test. Va notato che il test in cieco non è sempre fattibile o eticamente accettabile.


10. Risultati selezionati ad arte

La selezione ad arte sceglie dagli esperimenti i dati che avvalorano la conclusione di una ricerca e ignora quelli contrari. Se un articolo di ricerca trae conclusioni da una selezione dei propri risultati invece che da tutti, può darsi che stia facendo selezione ad arte (cherry-picking).


11. Risultati non replicabili

I risultati devono essere replicabili da una ricerca indipendente e verificati in una vasta gamma di condizioni (se possibile) per assicurarsi che siano generalizzabili. Affermazioni straordinarie richiedono prove straordinarie: in altre parole, richiedono molto più di un singolo studio indipendente.


12. Riviste e citazioni

Una ricerca pubblicata nelle riviste scientifiche più importanti avrà subìto un processo di revisione, ma può essere comunque difettosa, per cui va valutata tenendo conto di questi fatti. Allo stesso modo, un numero elevato di citazioni non implica necessariamente che una ricerca è tenuta in alta considerazione.

18 commenti:

Luigi Rosa ha detto...

Il punto 4. e' il famoso "post hoc, ergo propter hoc", molto abusato nell'informatica "oracolare" in cui si sentono affermazioni del tipo "una volta ho installato il browser PinkoPallo e il giorno dopo mi e' saltato l'alimentatore del PC. Io PinkPallo non lo instalo piu'!!!"

Guastulfo (Giuseppe) ha detto...

Purtroppo siamo pieni, oltre che di studi (tipo quelli sui cerchi nel grano) che servono a fare soldi da parte di chi li divulga, anche di prodotti "scientifici" che "seguono gli stessi 12 punti" dell'articolo.

Recentemente hanno cercato di propinarmi dei "coperchi magici" per pentole che permetterebbero anche la frittura delle patatine con l'olio mantenuto a temperatura ambiente.
Mia moglie è stata invitata a casa di un'amica dove hanno tenuto una dimostrazione.

Più chiedevo cosa c'entrassero dei buchi nel coperchio con la frittura delle patatine con l'olio freddo, più la dimostratrice parlava di vapori distillati e principio di Venturi.
Abbiamo evitato di fare altre domande per non compromettere l'amicizia con la padrona di casa perché mi sono accorto che stavo irritando tutti gli invitati (capita anche questo) e ci siamo limitati a non comprare il coperchio che non costa nemmeno poco.

Sbudellorum ha detto...

Però a questo punto Guastulfo devi dirci il marchio di questi coperchi magici, giusto per soddisfare la nostra curiosità.

Van Fanel ha detto...

Mia moglie è stata invitata a casa di un'amica dove hanno tenuto una dimostrazione

Ecco, le parole "invitare", "casa" e "dimostrazione" andrebbero aggiunte tra i campanelli di allarme di truffa/fuffa imminente. Ne avevo sentite tante (e una l'ho subita di persona, il Kirby), ma i coperchi mi mancavano. Forse dovresti segnalarli a qualche associazione di consumatori o direttamente alle autorità. Tra l'altro, se si tratta di vendita piramidale, è illegale tout court.

Guastulfo (Giuseppe) ha detto...

@Van Fanel
No, non si tratta di vendita piramidale.
Semplicemente il/la rappresentante va a casa del sig/ra Rossi. Usando i prodotti alimentari di casa sua viene fatta la dimostrazione. Per il disturbo, l'ospite ha diritto ad un coperchio omaggio oltre a quello che acquista e lì stesso si fissa l'appuntamento per andare a casa di un altro che inviterà altri amici.

@Sbudellorum
No. Non lo dico il marchio del coperchio. Sarebbe pubblicità, per giunta a casa di un ospite ;-)

Giuliano Parpaglioni ha detto...

io metterei causalità invece di causazione

Luigi Garlaschelli ha detto...

" il numero dei pirati è diminuito, ma la penuria di pirati non causa il riscaldamento globale."
In quanto Pastafariano in pectore, dissento da questa affermazione.
Che il Sacro Spaghetto possa illuminarti.

Stupidocane ha detto...

@ Van Fan

Purtroppo, come si suol dire "fatta la legge, trovato l'inganno". Le strutture piramidali moderne trovano la scappatoia proprio nella vendita di prodotti. Vendendo quelli il fatto di tirar dentro sottoposti diventa un surplus di percentuali sule vendite, sia dirette che dei sottoposti. Non c'è un guadagno diretto dalla struttura ma indiretto dalle vendite che essa genera.

BVZM ha detto...

Ciao Paolo, ovviamente la traduzione è ottima, io cambierei solo "le conclusioni possono essere altrettanto differenti" nel punto 7 con "le conclusioni possono essere anch'esse differenti"; nel senso che non è detto che le conclusioni siano tanto differenti dalla realtà quanto il campione è differente dalla popolazione. (Non è una piccolezza, è ancora meno, me ne rendo conto).

Sempre in tema di infografiche antibufaline: ho tradotto in italiano questa. Può interessare?

Domenico Marra ha detto...

Salve a tutti, premetto che segue da molto questo blog senza però mai intervenire, ma questa volta essendo un argomento vicino alla mia professione (sono un biologo che lavora spesso in studi clinici) mi permetto di intervenire col mio primo post.
I 12 punti sono divertenti ma non sempre corretti, almeno per chi è del settore che li può ritrovare simpatici, spesso veritieri (ricordo molti estati in cui parellalemete all'ennesima emergenza sangue si parlava dell'imminente immissione sulla piazza del sangue artificiale) ma che sicuramente non li può condividere al 100%.
Vado subito a fare un esempio: il punto 6 non è sempre vero in quanto tutto dipende dalla potenza statistica della ricerca che si sta effettuando.
Esempio pratico: se un nuovo farmaco una volta somministrato fosse in grado di curare istantaneamente i pazienti (per esempio per una patologia tumorale) in linea di principio basterebbero pochissimi casi (decine, non migliaia) per poterne verificare il corretto funzionamento.
Diversamente un effetto molto più piccolo richiederebbe numerosissimi casi (centinaia di migliaia) perchè possa essere verificato come reale e non come semplice variabilità dovuta del caso (ad esempio aumentare la sopravivvenza media di un paziente oncologico di un solo giorno).

Maria Rosa ha detto...

[quote]Il riscaldamento globale è aumentato dal 1800 e il numero dei pirati è diminuito, ma la penuria di pirati non causa il riscaldamento globale.[/quote]
Nel XIX e XX secolo hanno preso il via tutte le correnti di arte moderna che poi sono state raggiunte dall'arte contemporanea: chiaramente sono queste la causa del riscaldamento globale! Pensate solo agli effetti dell'impressionismo, dell'astrattismo o del liberty! :-D

Paolo Attivissimo ha detto...

Tutti,

ho corretto "causazione" in "causalità". Grazie della correzione.


Domenico,

concordo con quello che dici; credo che queste siano regole di massima, utili nella maggioranza dei casi per i profani confrontati con le "notizie" di scienza che vengono rigurgitate dai media, ma non siano dei principi assoluti.

bla78 ha detto...

Sapete che soltanto il 54% dei viaggiatori europei allaccia le cinture quando siede sui sedili posteriori dell'auto, nonostante il codice della strada lo imponga? L'ho scoperto sull'ultimo numero di Focus!

Stupidocane ha detto...

Bla78. Se proprio devi spammare, fai almeno che sia a tema...

Giuliano47 ha detto...

@ Maria Rosa

Le cause del riscaldamento globale sono le mutande femminili.
E' anche colpa tua!
cause del riscaldamento globale

Maria Rosa ha detto...

[quote-"Giuliano47"]@ Maria Rosa

Le cause del riscaldamento globale sono le mutande femminili.
E' anche colpa tua!
[/quote]
OH NOOOO! =(
Che faccio? Torno ai mutandoni ascellari? Smetto di portarle?
E io che iniziavo a pensare che il riscaldamento globale fosse a causa della fotografia: tutti quei sali d'argento e i vapori di fosforo e magnsio hanno generato scie chimiche per tutto il globo terrestre... che ancora oggi interagiscono con i campi elettromagnetici prodotti dagli scatti di milioni di macchine digitali e telefonini...

Cmd.J.Keyl ha detto...

" il numero dei pirati è diminuito, ma la penuria di pirati non causa il riscaldamento globale."

Qui si invertono causa ed effetto. Siccome c'e' il riscaldamento globale e le creme solari invece non sono nate nel 1800, i pirati sono diminuiti. Ne ho le prove sciiiientifiche.

Devis Pantano ha detto...

Concordo che queste indicazioni possano essere utili per un NON addetto ai lavori al fine di di formarsi una prima idea personale
Ma questi criteri non può essere usato da uno studioso o da una scienziato per esprimere un "pre-giudizio" su un lavoro altrui. Lo scienziato, il peer review, deve giudicare sui contenuti. Esistono discipline dove l'uso del linguaggio ipotetico è giustificato e necessario quando le ipotesi proposte hanno buone basi.
Usare questi metodi è grave se chi deve esprimere in giudizio li usa per evitare la fatica di leggere e cercare di capire i lavori altrui.