Editorial

Der Fehlerbalken im Auge des Forschers

"Der Charité-Skandal" (Folgen 1-15 und 16, Update vom 19. März 2010) -- Es gehen Gerüchte, Forscher an der Charité hätten eine Unzahl von gefälschten Papern veröffentlicht. Höchste Stellen seien verwickelt, der Filz reiche bis nach Hamburg. Selbst Ulrike Beisiegel, Sprecherin des Ombudsman der DFG, Kandidatin für das Präsidentenamt der Göttinger Universität, Ikone der deutschen Wissenschaftsethik, wurde angegriffen.

editorial_bild

Da biegt sich der (Fehler-)Balken

Seltsame Endziffern

 

Wie in der letzten Folge angedeutet, war Herr Storch mit Heerens Figur 6a noch nicht fertig.

Herr Heeren hatte, unverlangt, auch die Daten zu dem Inset von Figur 6a geschickt (PDF). Darin wird dargestellt, wieviel der von der Leber wieder abgegebenen Radioaktivität degradiertes apoE/LPL-TRL darstellt. Dazu wurden Aliquots des Perfusats durch Centricon-Röhrchen zentrifugiert, die nur Moleküle kleiner als 10 kDa passieren lassen. Es wurde einmal nachgewaschen. Die Radioaktivität. die den Filter passiert (Summe der Durchläufe von Perfusat und Nachwasch = Passage), galt als Indiz für degradiertes apoE/LPL-TRL, diejenige, die sich nicht abzentrifugieren ließ (Überstand), als nichtdegradiertes apoE/LPL-TRL. Für jede Ratte wurden die Fraktionen bei 5, 10 und 15 Minuten (die Nummern 1,2,3 im pdf Abbau) vermessen, für jeden Zeit gab es also die cpm von Passage bzw. Überstand, für jede Ratte also 6 Zahlenwerte (cpm). Alle vier Ratten, diesmal wurden alle vier genommen, lieferten damit 24 Zahlenwerte (cpm).

Adebar Storch sah sich diese Zahlenreihen an und entdeckte zu seiner Verwunderung, daß von den 24 Zahlen ganze 11 die Endziffern 00 trugen, also z.B. 2600, 1600, 3000, 21300, 9400 usw. Ein derartiger Zufall habe ein Wahrscheinlichkeit von 10 hoch minus 8, so Adebar Storch. Dem Laborjournal-Reporter leuchtete das ein, eine solche Endziffern Häufung war ihm bei eigenen Experimenten nie unterlaufen. Er rief Jörg Heeren an.

 

Herr Heeren meinte, die Zahlen seien so, wie er sie angegeben habe.

Ob er vielleicht aus Aliquots hochgerechnet habe, fragte der Laborjournal-Reporter. Sein Gedanke: 10 Mikroliter gezählt und z.B. 213 cpm erhalten gibt 21300 cpm auf 1 Milliliter.

Heeren verneinte das, dazu seien die Zahlen zu klein.

Herr Heeren ließ einen nachdenklichen Reporter zurück: „Kann es solche Zufälle geben? Mit soviel Glück sollte der Heeren Lotto spielen.“

 

Zwei Stunden später rief Jörg Heeren zurück. Die Sache habe ihm keine Ruhe gelassen. Er habe sich auf den Speicher begeben, die alten Laborbücher herausgesucht und sich die Experimente angeschaut. Er wolle dem Laborjournal-Reporter eine Kopie der Counterausdrucke faxen. Für die Häufigkeit der Endziffern 00 habe er folgende Erklärung:

 

„1. Das Perfusat wurde mit Hilfe eines Centricons zentrifugiert. Der erste und zweite Durchlauf aus dem Centricon wurde als Abbau definiert und entsprechend im gamma Counter gemessen. Die Summe der beiden Durchläufe wurde überschlagen und nicht exakt errechnet, so dass hiermit erklärt werden kann, warum relativ häufig zwei Nullstellen beim Abbau auftauchen. Die sich hieraus ergebenen Abweichungen bei der Auswertung sind extrem gering, so dass sich keine Änderungen zur Abbildung im JBC Paper ergeben würden.

2. Der Überstand wurde als Recycling definiert und gemessen. Hier wurde die im gamma Counter ermittelte Zahl zur Rechnung herangezogen.“

 

 

Seltsame Summen, seltsame Filtrate


Kaum war diese Kröte geschluckt präsentierte der Storch dem genervten Laborjournal-Reporter einen neuen Frosch. Storch bemerkt - und leider stimmt das - daß in Figur 6a die Quersummen des Abbaus (PDF) nicht mit den Werten der Kinetik (PDF) übereinstimmen. Ein Beispiel. Bei Ratte 1 wurde im Perfundat der 5 Minuten Fraktion 91934 cpm gezählt. Diese Counts wurden mittels Centricon Röhrchen in degradiert und nicht degradiert aufgeteilt. Nun müßten die degradierten und nicht degradierten cpm in etwa wieder so um die 90 000 cpm ergeben. Heeren erhielt nur 56695 cpm (als Summe von 15557 cpm und 44138 cpm). Sicher, man verliert einiges beim Pipettieren und einiges dürfte irreversibel an die Centricon-Membran kleben - aber so viel? Und so unreproduzierbar? Im Beispiel gehen 30% verloren, bei anderen Wertesätzen jedoch 60% oder 50%. Bei zwei Sätzen kommt sogar 50 bzw. 60% MEHR heraus als Heeren eingesetzt hatte. Nur bei zwei Sätzen (Ratte 1, 10 Minuten und 15 Minuten) stimmen Perfundat und die Summe von degradiert und nicht degradiert einigermaßen überein.

Der Laborjournal-Reporter bat Herrn Heeren um Aufklärung, er wolle ihn dann auch gewiß nicht mehr belästigen.

 

Jörg Heeren dazu: „Mit diesem Experiment sollte qualitativ untersucht werden, ob die
resezernierten Apolipoproteine als intaktes Protein bzw. an Lipoproteine assoziiert im Perfusat enthalten sind. Zu diesem Zweck wurden Centricon-Röhrchen eingesetzt, um die Proben zu konzentrieren bzw. um die abgebauten Bestandteile abzutrennen. Mir ist vollkommen bewusst gewesen, dass die Membranen einen relativ hohen Anteil der Apolipoproteine binden würden, da Apolipoproteine und Lipoproteine aufgrund der positiv-geladenen Arginincluster der Apolipoproteine und der hydrophoben Eigenschaften mit hoher Affinität an die Membranen der Centricons binden. Um möglichst wenig Material für die anschließende Ultrazentrifugation zu verlieren, wurde für jede Ratte ein Centricon-Röhrchen benutzt. Erst wurden die 5 min Chaseproben zentrifugiert (Überstand und Durchlauf wurden wie beschrieben getrennt) und das gleiche Centricon für die jeweilige Ratte auch benutzt, um die 10 min und 15 min Proben zu zentrifugieren. Die Centricon-Membran bindet jedes Mal Lipoproteine, kann sie aber bei Sättigung auch wieder abgeben. Dies erklärt die unterschiedlichen Ausbeuten an Radioaktivität. In der Summe werden entsprechend reduzierte Aktivitäten gemessen mit einer Ausbeute zwischen ca. 40 und 80%. Da es in diesem qualitativen Experiment darum ging, ausreichend Lipoproteine für die Ultrazentrifugation vorzubereiten, wurden die Überstände der drei Zentrifugationen gezählt und dann für die Ultrazentrifugation gepoolt.“

 

Dem Laborjournal-Reporter gegenüber erwähnte Heeren mündlich, daß man dieses Experiment aus dem Zusammenhang des Papers verstehen müsse. Es sei hauptsächlich darum gegangen, Lipoproteine für die Ultrazentrifugation zu erhalten und nicht darum, den Abbau nachzuweisen. Letzteres mache man besser mit einer TCA-Präzipitation und sei auch schon publiziert.

 

 

Der zweite Frosch


Herr Storch schaute sich auch die von Herrn Heeren gelieferten Counterausdrucke an. Jörg Heeren hat ja die Fraktionen der Perfusion bei 5, 10 und 15 Minuten über Centricon-Röhrchen abfiltriert, einmal nachgewaschen, beide Filtrate gezählt und die erhaltenen cpm addiert (= Passage). Auch bei diesen Daten kam Storch ins Wundern (Aufstellung Counterdaten PDF). Er fragt sich:

 

- Warumwurde nachgewaschen (es sollte doch reichen, das Perfusat durch die Centricon-Röhrchen zu filtrieren)?

- Warum sehen sich die Counts des Perfusat Durchlaufs und des Nachwasch Durchlaufs bei Ratte 1, 2 und 3 so verteufelt ähnlich, bei Ratte 4 aber nicht?

 

Was Storch meint? Beispiel: Bei Ratte 1, 5 Minuten Fraktion, ergibt der Perfusat Durchlauf des Centricon 7867 cpm, der Nachwasch Durchlauf 7690 cpm. Offensichtlich war die Filtration ineffizient: im Überstand befinden sich noch riesige Mengen an Counts, die abgebautes Protein repräsentieren. Warum macht der Experimentator nicht weitere Durchläufe, bis die filtrierten Counts gegen Null gehen? Oder weicht auf eine effizientere Methode aus wie TCA-Präzipitation (das ginge, denn bei den abgebauten Counts scheint es sich, so Heeren, hauptsächlich um 125I-Tyrosin zu handeln)? So ist keineswegs gewährleistet, daß alle Counts, die abgebautes Protein repräsentieren, durchgewaschen wurden. Man erhält zu niedrige Werte für den Abbau und zu hohe für das nicht degradierte Protein und das auch noch auf offensichtlich unreproduzierbare Weise. Das Experiment ist für die Tonne. Nur bei Ratte 4 ist die Welt in Ordnung: der Perfusat Durchlauf der 5 Minuten Fraktion beispielsweise ergibt 2569 cpm, der Nachwasch Durchlauf 178 cpm. Sind die qualitativen Unterschiede im Verhalten der Fraktionen zwischen den Ratten 1,2,3 und der Ratte 4 dem Experimentator nicht aufgefallen?

 

Heeren sagt, er habe keine TCA-Präzipitation machen können, weil es ihm bei der Centricon-Filtration vor allem um die Konzentrierung der nativen Lipoproteine für ein anderes Experiment gegangen sei. Dem mag so sein, aber das macht die Werte von Figur 6a auch nicht besser: Entweder ich mache ein Experiment richtig oder gar nicht.

 

Zudem findet es Storch seltsam daß die Counts der beiden Durchläufe der Ratten 1,2,3 so ähnlich sind: Bei Ratte 1 beispielsweise 7867 gegen 7690, 5587 gegen 5565, 4566 gegen 4451. Die Unterschiede zwischen den Zählwerten liegen im Bereich der Zählunsicherheit (gezählt wurde für 1 Minute). Storch vermutet daher, daß es sich gar nicht um die Ergebnisse zweier Zentrifugationen/Filtrationen handelt, sondern die Perfusions Filtrate der Ratten 1,2,3 zweimal gezählt wurden. 

 

Einem weiteren Leser fiel auf, daß die von Heeren angegebenen Lebergewichte der 200-250 g schweren Sprague-Dawley Ratten mit gut 17 g erstaunlich schwer waren: Nach Kraft und Stickl, Virchows Archiv, Bd. 324, S. 650 - 661 (1954), liegt das Lebergewicht einer 250 g schweren Ratte bei knapp 9 g.

 

Der Laborjournal-Reporter teilte Storchs neue Entdeckung Jörg Heeren telefonisch mit. Der war nicht amüsiert: Er habe nun doch alles geliefert, was verlangt worden sei (in der Tat hatte er sogar mehr geliefert), er habe seinen Urlaub deswegen abgebrochen, er fände diese Nachsetzerei nicht fair.

 

Dem Laborjournal-Reporter war die Sache inzwischen peinlich, aber: „Was soll ich denn machen? Glauben Sie mir macht das Spaß? Ich renne diesen Geschichten doch nicht hinterher, ich werde von denen verfolgt! Mir hängt das Ganze zum Hals raus. Aber ich hab mich nun mal auf die Figur 6a eingelassen und muß jetzt die Suppe auslöffeln. Ja, ich hab Ihnen versprochen mit den Quersummen sei die Sache erledigt. Als ich das versprochen hatte, war ich auch der Meinung gewesen, es könne nun wirklich nichts mehr nachkommen. Aber es kam eben doch was!“

 

Gedacht hat der Laborjournal-Reporter: „Ich will doch dem nichts Böses. Aber das ist nun wirklich ein seltsames Experiment mit seltsamen Ergebnissen. Da wird man doch nachfragen dürfen. Der Mann ist schließlich Wissenschaftler und wird aus öffentlichen Geldern bezahlt. Also muß er sich auch sachlichen Fragen zu seinen Ergebnissen stellen.“

 

Falls sich Herr Heeren noch zu einer Stellungnahme durchringt, werden wir diese selbstverständlich an dieser Stelle veröffentlichen.

 

 

Hinweis: Falls Sie Kommentare, Bemerkungen, oder Beobachtungen zu dieser Serie lesen oder gar selber loswerden wollen, können Sie das unter dem gleichnamigen Beitrag in unserem Laborjournal Blog gerne tun.

 

 

von Hubert Rehm

 

Als PDFs zum Download:

 

MS1 v4

MS1 v5

Ms2

Dalla Pu


Was bisher geschah:

Folge 1: Die Kontrahenten

 

Folge 2: Der Krach

 

Folge 3: Die Affäre eskaliert

 

Folge 4: Savaskan weist die Vorwürfe zurück

 

Folge 5: Nachforschungen des LJ-Reporters

 

Folge 6: Vermittlungsversuche

 

Folge 7: Der DFG-Ombudsman wird angerufen

 

Folge 8: Der Ombudsman fordert Unterlagen an

 

Folge 9: Der DFG-Ombudsman gibt an den DFG Ausschuß für Fehlverhalten ab

 

Folge 10: Kühbachers Generaluntersuchung

 

Folge 11: Frau Beisiegels Stellungnahme

 

Folge 12: Noch ein fehlerhaftes Paper: Das Nogo Paper

 

Folge 13: Juristische Nullnummer

 

Folge 14: Ein neuer Ermittler schaltet sich ein

 

Folge 15: Hugo Habicht widerspricht Adebar Storch!

 

Folge 16: Seltsame Endziffern

 

Folge 17: Zusammenfassung und Kommentar

 

Folge 18: Ergänzungen und Bemerkungen

 



Letzte Änderungen: 09.08.2010