«Όσοι τρώνε σοκολάτα μένουν αδύνατοι!» έγραφε τον Μάρτιο το πρωτοσέλιδο της γερμανικής Bild. Όμως η μελέτη στην οποία αναφερόταν η μεγαλύτερη εφημερίδα της Ευρώπης, μαζί με δεκάδες άλλα ΜΜΕ, ήταν στην πραγματικότητα μια καλοστημένη απάτη, σχεδιασμένη να ξεμπροστιάσει την αφέλεια των δημοσιογράφων αλλά και τις γκρίζες πρακτικές των επιστημονικών εκδόσεων.
Το κόλπο στήθηκε από τον Τζον Μποχάνον, διδάκτορα της Βιολογίας, επιστημονικό δημοσιογράφο στο Χάρβαρντ, συνεργάτη του περιοδικού Science και γνωστό τρολ της επιστημονικής έρευνας. Εμφανιζόμενος ως «Γιοχάνες Μποχάνον», ο δημοσιογράφος κατάφερε να δημοσιεύσει σε επιστημονική επιθεώρηση μια κλινική μελέτη που έδειχνε ότι η μαύρη σοκολάτα επιταχύνει την απώλεια βάρους.
Η κλινική μελέτη ήταν αυθεντική, βασιζόταν όμως σε μια στατιστική παγίδα και ήταν σχεδιασμένη να δίνει «αποτελέσματα χωρίς νόημα» εξηγεί ο Μποχάνον μεάρθρο του στο io9.com. «Οι ισχυρισμοί με τους οποίους βομβάρδισαν τα ΜΜΕ εκατομμύρια ανθρώπους ήταν παντελώς αβάσιμα» λέει.
Ο Μποχάνον και οι συνεργάτες πλήρωσαν 5 άνδρες και 11 γυναίκες για να συμμετάσχουν στο πείραμα και τους χώρισαν σε τρεις ομάδες. Η πρώτη ακολουθούσε δίαιτα χαμηλών υδατανθράκων, ενώ η δεύτερη ακολούθησε την ίδια δίαιτα, εμπλουτισμένη όμως με 40 γραμμάρια μαύρης σοκολάτας την ημέρα. Τα άτομα της τρίτης ομάδας, η οποία αποτέλεσε την ομάδα ελέγχου, κλήθηκαν να μην αλλάξουν τις διατροφικές συνήθειές τους.
Οι μετρήσεις έδειξαν ότι οι δύο πρώτες ομάδας εμφάνισαν την ίδια απώλεια βάρους, περίπου 2,5 κιλά στις τρεις εβδομάδες που διήρκεσε το πείραμα. Η διαφορά όμως ήταν ότι η ομάδα της μαύρης σοκολάτας έχασε βάρος ταχύτερα και εμφάνισε καλύτερα επίπεδα χοληστερόλης στο αίμα.
P-hacking
Τα δεδομένα δεν παραποιήθηκαν, η ανάλυσή τους όμως ήταν επίτηδες παραπλανητική, εξηγεί ο Μποχάνον. «Ορίστε το μικρό, βρόμικο μυστικό: Αν μετρήσεις έναν μεγάλο αριθμό παραμέτρων σε έναν μικρό αριθμό ανθρώπων, είναι σχεδόν εγγυημένο ότι θα πάρεις ένα "στατιστικά σημαντικό αποτέλεσμα"».
Η λεγόμενη τιμή p είναι ένας στατιστικός δείκτης που εκφράζει την πιθανότητα ένα οποιοδήποτε αποτέλεσμα να οφείλεται καθαρά στην τύχη. Προκειμένου να θεωρηθεί στατιστικά αξιόπιστος ένας ισχυρισμός, η τιμή του p πρέπει να είναι 0,05, κάτι που σημαίνει ότι υπάρχει μόλις 5% πιθανότητα να οφείλεται το αποτέλεσμα σε τυχαία διακύμανση.
Όμως ακόμα και μια καλή τιμή p μπορεί να οφείλεται σε ψευδώς θετικό αποτέλεσμα. Και όσο περισσότερες είναι οι απόπειρες να φτάσει κανείς ένα θετικό αποτέλεσμα, τόσο μεγαλύτερη είναι η πιθανότητα να πετύχει σε μία από αυτές.
Ακόμα και οι επιστήμονες έχουν την τάση να πειραματίζονται, έστω και ασυνείδητα, με διάφορες παραμέτρους μέχρι να καταλήξουν στην κατάλληλη τιμή p. Είναι ένα φαινόμενο που ονομάζεται «p-hacking», λέει ο Μποχάνον.
Η ομάδα του είχε μετρήσει 18 διαφορετικές παραμέτρους για 16 άτομα, από το βάρος μέχρι την ποιότητα του ύπνου και το νάτριο στο αίμα. Αυτό σήμαινε ότι υπήρχε πιθανότητα 60% να καταλήξει η ανάλυση σε «στατιστικά σημαντική» σχέση της σοκολάτας με τουλάχιστον έναν από αυτούς τους παράγοντες, είτε επρόκειτο για την ταχύτητα απώλεια βάρους είτε για την ποιότητα του ύπνου ή τη χοληστερόλη.
Δείγμα ανεπαρκές
Ακόμα όμως κι αν οι σχεδιαστές της μελέτης είχαν προσπαθήσει να αποφύγουν το p-hacking, η αξιοπιστία της μελέτης ήταν καταδικασμένη λόγω του υπερβολικά μικρού δείγματος. Ο μικρός αριθμός συμμετεχόντων, εξηγεί ο Μποχάνον, μεγεθύνει την επίδραση ανεξέλεγκτων παραγόντων. Για παράδειγμα, το βάρος μιας γυναίκας μπορεί να παρουσιάσει διακύμανση έως και 2,5 κιλών στη διάρκεια του κύκλου της, μια διακύμανση μεγαλύτερη από τη διαφορά που καταγράφηκε ανάμεσα στις τρεις ομάδες της μελέτης.
Τα προβλήματα αυτά είναι γνωστά. Ορισμένες επιστημονικές επιθεωρήσεις έχουν καταργήσει τις τιμές p, και καμία σοβαρή επιθεώρηση δεν δημοσιεύει μελέτες με δείγμα μικρότερο από 30 εθελοντές.
«Υπάρχουν όμως πολλές επιθεωρήσεις που νοιάζονται περισσότερο για το χρήμα παρά για τη φήμη τους» λέει ο Μποχάνον. Η μελέτη εστάλη σε 20 επιθεωρήσεις, από τις οποίες «πολλές» την έκαναν δεκτή.
Οι ερευνητές προτίμησαν τελικά το International Archives of Medicine, μια επιθεώρηση «ανοιχτής πρόσβασης», η οποία δεν χρεώνει τους αναγνώστες αλλά τους επιστήμονες που δημοσιεύουν σε αυτή το έργο της.
Το International Archives of Medicine δημοσίευσε το «εξαιρετικό κείμενο» της μελέτης, αν και αργότερα υποστήριξε ότι τη δημοσίευσε κατά λάθος. Η δημοσίευση είναι πάντως ακόμα διαθέσιμη εδώ.
Η επόμενη κίνηση της ομάδας του Μποχάνον ήταν να στείλει στα ΜΜΕ έναδελτίο Τύπου. Η έρευνα δημοσιεύτηκε από εφημερίδες και δικτυακούς τόπους σε 20 χώρες και έξι γλώσσες. Ο Μποχάνον δηλώνει μάλιστα ότι κανείς από τους δημοσιογράφους που μπήκαν στον κόπο να επικοινωνήσουν μαζί του δεν έκανε τις σωστές ερωτήσεις.
Η μελέτη για τη σοκολάτα πραγματοποιήθηκε από τον Μποχάνον και τους συνεργάτες του με αίτημα δύο γερμανών δημοσιογράφων, οι οποίοι γύριζαν ντοκιμαντέρ για τη σχέση των ΜΜΕ με την επιστήμη, το οποίο θα προβληθείτην επόμενη εβδομάδα.
Ο ερευνητής είχε εξάλλου κι άλλες τέτοιες «επιτυχίες» στο ενεργητικό του. Το 2013, είχε δημιουργήσει για λογαριασμό του Science μια ψεύτικη μελέτη για ένα «θαυματουργό» αντικαρκινικό φάρμακο, την οποία δέχτηκαν για δημοσίευση δεκάδες επιθεωρήσεις ανοιχτής πρόσβασης.
Όπως επισήμανε τότε, «οποιοσδήποτε επιμελητής με λυκειακές γνώσεις χημείας και την ικανότητα να καταλαβαίνει μια απλή γραφική παράσταση θα έπρεπε να είχε εντοπίσει τα προβλήματα αμέσως».
Βαγγέλης Πρατικάκης
Το κόλπο στήθηκε από τον Τζον Μποχάνον, διδάκτορα της Βιολογίας, επιστημονικό δημοσιογράφο στο Χάρβαρντ, συνεργάτη του περιοδικού Science και γνωστό τρολ της επιστημονικής έρευνας. Εμφανιζόμενος ως «Γιοχάνες Μποχάνον», ο δημοσιογράφος κατάφερε να δημοσιεύσει σε επιστημονική επιθεώρηση μια κλινική μελέτη που έδειχνε ότι η μαύρη σοκολάτα επιταχύνει την απώλεια βάρους.
Η κλινική μελέτη ήταν αυθεντική, βασιζόταν όμως σε μια στατιστική παγίδα και ήταν σχεδιασμένη να δίνει «αποτελέσματα χωρίς νόημα» εξηγεί ο Μποχάνον μεάρθρο του στο io9.com. «Οι ισχυρισμοί με τους οποίους βομβάρδισαν τα ΜΜΕ εκατομμύρια ανθρώπους ήταν παντελώς αβάσιμα» λέει.
Ο Μποχάνον και οι συνεργάτες πλήρωσαν 5 άνδρες και 11 γυναίκες για να συμμετάσχουν στο πείραμα και τους χώρισαν σε τρεις ομάδες. Η πρώτη ακολουθούσε δίαιτα χαμηλών υδατανθράκων, ενώ η δεύτερη ακολούθησε την ίδια δίαιτα, εμπλουτισμένη όμως με 40 γραμμάρια μαύρης σοκολάτας την ημέρα. Τα άτομα της τρίτης ομάδας, η οποία αποτέλεσε την ομάδα ελέγχου, κλήθηκαν να μην αλλάξουν τις διατροφικές συνήθειές τους.
Οι μετρήσεις έδειξαν ότι οι δύο πρώτες ομάδας εμφάνισαν την ίδια απώλεια βάρους, περίπου 2,5 κιλά στις τρεις εβδομάδες που διήρκεσε το πείραμα. Η διαφορά όμως ήταν ότι η ομάδα της μαύρης σοκολάτας έχασε βάρος ταχύτερα και εμφάνισε καλύτερα επίπεδα χοληστερόλης στο αίμα.
P-hacking
Τα δεδομένα δεν παραποιήθηκαν, η ανάλυσή τους όμως ήταν επίτηδες παραπλανητική, εξηγεί ο Μποχάνον. «Ορίστε το μικρό, βρόμικο μυστικό: Αν μετρήσεις έναν μεγάλο αριθμό παραμέτρων σε έναν μικρό αριθμό ανθρώπων, είναι σχεδόν εγγυημένο ότι θα πάρεις ένα "στατιστικά σημαντικό αποτέλεσμα"».
Η λεγόμενη τιμή p είναι ένας στατιστικός δείκτης που εκφράζει την πιθανότητα ένα οποιοδήποτε αποτέλεσμα να οφείλεται καθαρά στην τύχη. Προκειμένου να θεωρηθεί στατιστικά αξιόπιστος ένας ισχυρισμός, η τιμή του p πρέπει να είναι 0,05, κάτι που σημαίνει ότι υπάρχει μόλις 5% πιθανότητα να οφείλεται το αποτέλεσμα σε τυχαία διακύμανση.
Όμως ακόμα και μια καλή τιμή p μπορεί να οφείλεται σε ψευδώς θετικό αποτέλεσμα. Και όσο περισσότερες είναι οι απόπειρες να φτάσει κανείς ένα θετικό αποτέλεσμα, τόσο μεγαλύτερη είναι η πιθανότητα να πετύχει σε μία από αυτές.
Ακόμα και οι επιστήμονες έχουν την τάση να πειραματίζονται, έστω και ασυνείδητα, με διάφορες παραμέτρους μέχρι να καταλήξουν στην κατάλληλη τιμή p. Είναι ένα φαινόμενο που ονομάζεται «p-hacking», λέει ο Μποχάνον.
Η ομάδα του είχε μετρήσει 18 διαφορετικές παραμέτρους για 16 άτομα, από το βάρος μέχρι την ποιότητα του ύπνου και το νάτριο στο αίμα. Αυτό σήμαινε ότι υπήρχε πιθανότητα 60% να καταλήξει η ανάλυση σε «στατιστικά σημαντική» σχέση της σοκολάτας με τουλάχιστον έναν από αυτούς τους παράγοντες, είτε επρόκειτο για την ταχύτητα απώλεια βάρους είτε για την ποιότητα του ύπνου ή τη χοληστερόλη.
Δείγμα ανεπαρκές
Ακόμα όμως κι αν οι σχεδιαστές της μελέτης είχαν προσπαθήσει να αποφύγουν το p-hacking, η αξιοπιστία της μελέτης ήταν καταδικασμένη λόγω του υπερβολικά μικρού δείγματος. Ο μικρός αριθμός συμμετεχόντων, εξηγεί ο Μποχάνον, μεγεθύνει την επίδραση ανεξέλεγκτων παραγόντων. Για παράδειγμα, το βάρος μιας γυναίκας μπορεί να παρουσιάσει διακύμανση έως και 2,5 κιλών στη διάρκεια του κύκλου της, μια διακύμανση μεγαλύτερη από τη διαφορά που καταγράφηκε ανάμεσα στις τρεις ομάδες της μελέτης.
Τα προβλήματα αυτά είναι γνωστά. Ορισμένες επιστημονικές επιθεωρήσεις έχουν καταργήσει τις τιμές p, και καμία σοβαρή επιθεώρηση δεν δημοσιεύει μελέτες με δείγμα μικρότερο από 30 εθελοντές.
«Υπάρχουν όμως πολλές επιθεωρήσεις που νοιάζονται περισσότερο για το χρήμα παρά για τη φήμη τους» λέει ο Μποχάνον. Η μελέτη εστάλη σε 20 επιθεωρήσεις, από τις οποίες «πολλές» την έκαναν δεκτή.
Οι ερευνητές προτίμησαν τελικά το International Archives of Medicine, μια επιθεώρηση «ανοιχτής πρόσβασης», η οποία δεν χρεώνει τους αναγνώστες αλλά τους επιστήμονες που δημοσιεύουν σε αυτή το έργο της.
Το International Archives of Medicine δημοσίευσε το «εξαιρετικό κείμενο» της μελέτης, αν και αργότερα υποστήριξε ότι τη δημοσίευσε κατά λάθος. Η δημοσίευση είναι πάντως ακόμα διαθέσιμη εδώ.
Η επόμενη κίνηση της ομάδας του Μποχάνον ήταν να στείλει στα ΜΜΕ έναδελτίο Τύπου. Η έρευνα δημοσιεύτηκε από εφημερίδες και δικτυακούς τόπους σε 20 χώρες και έξι γλώσσες. Ο Μποχάνον δηλώνει μάλιστα ότι κανείς από τους δημοσιογράφους που μπήκαν στον κόπο να επικοινωνήσουν μαζί του δεν έκανε τις σωστές ερωτήσεις.
Η μελέτη για τη σοκολάτα πραγματοποιήθηκε από τον Μποχάνον και τους συνεργάτες του με αίτημα δύο γερμανών δημοσιογράφων, οι οποίοι γύριζαν ντοκιμαντέρ για τη σχέση των ΜΜΕ με την επιστήμη, το οποίο θα προβληθείτην επόμενη εβδομάδα.
Ο ερευνητής είχε εξάλλου κι άλλες τέτοιες «επιτυχίες» στο ενεργητικό του. Το 2013, είχε δημιουργήσει για λογαριασμό του Science μια ψεύτικη μελέτη για ένα «θαυματουργό» αντικαρκινικό φάρμακο, την οποία δέχτηκαν για δημοσίευση δεκάδες επιθεωρήσεις ανοιχτής πρόσβασης.
Όπως επισήμανε τότε, «οποιοσδήποτε επιμελητής με λυκειακές γνώσεις χημείας και την ικανότητα να καταλαβαίνει μια απλή γραφική παράσταση θα έπρεπε να είχε εντοπίσει τα προβλήματα αμέσως».
Βαγγέλης Πρατικάκης
Newsroom ΔΟΛ
