美非营利机构计划对全球 50 篇重要癌症生物学研究成果进行可再现性研究,这一举动引发广泛争议。
2013 年 10 月,Richard Young 收到一封措辞有礼但语气坚定的邮件。发件人是「调查癌症生物学研究可再现性」研究小组的成员。Young 是美国麻省理工学院一名生物学家,他之所以收到这封邮件,是因为 2012 年他曾在 Cell 杂志发表了一篇关于「一种叫作原癌基因的蛋白如何刺激肿瘤生长」的文章。
这篇文章作为 50 篇影响力最高的论文之一,被一项名为「癌症生物学」的可再现性研究项目选中进行复查。邮件称,该复查小组可能在研究材料和实验设计方面需要课题组的帮助和建议。该邮件还承诺,复查项目将「共享研究步骤」以确保「公正再现性研究」。
Young 表示,欧洲一家实验室已经发表过对其研究进行的再现性实验结果。尽管如此,该项目代表回复称,他们依然想要重复实验,而且需要关于这项研究的更多流程方面的信息。
经过数周邮件往来之后,Young 课题组的研究生和博士后给该项目小组提供了许多复杂的细节以解释研究过程,但该项目组称,他们不想重现这篇《细胞》文章中提到的 30 个左右的实验,他们只想要一个关键数据中描述的 4 个实验。而那些实验的再现性研究并不是由在相同领域工作的学界实验室操作,而是由一个不知名的协约研究机构操作。
今年 1 月,这个癌症再现性研究项目公开了其进行可再现性实验的标准。于是,Young 开始等待进一步了解他的研究在该项目手中是否能站得住脚。
Young 表示,如果该项目的实验结果与他的实验结果相匹配,则没什么好奇怪的——因为这篇文章的结果已经通过了可再现性研究。如果结果不匹配,那么问题可能是这个再现性实验室缺失专业技能。无论如何,这项可再现性项目看起来都是在浪费时间,Young 说。「我是可再现性研究的鼎力支持者,但是(他们的)机制并不是验证可再现性的方法。」
令人不悦的验证研究
Young 的回应是受到癌症可再现性项目复查的研究人员的典型反应。该项目是一项雄心勃勃的开放科学计划,旨在检验Nature、 Cell、Science 和其他顶级期刊发表的重要成果是否可以在独立的实验室中再现。该项目针对的几乎所有科学家均表示,癌症生物学和其他许多领域一样,经常被证明不能再现,其中的原因包括诸如有问题的试剂、变化无常的生物系统等。
该项目表示,将在接下来几个月公布研究结果。事实上,被调查的科学家几乎没人对这项特别的研究感到舒服,他们的反应包括从厌倦到担心,再到愤怒。「这是一项令人尊重的、雄心勃勃的项目。我很喜欢它的理念。」坎布里奇市博大研究院癌症遗传学家 Todd Golub 说,他的一篇文章也在被验证之列。但是,他也对「一个聘用并无较深专业技能科学家的独立研究小组,却要再现花费数十年的复杂、烦琐的实验感到担心」。
Golub 和其他人担心,如果这项癌症可再现性项目宣称,被检测的 50 篇文章中的许多研究结果都未能通过验证,可能会有损个人名誉,从而损害公众对于生物医学研究的支持。「我真的希望,这些人明白他们肩负的责任有多大。」德国图宾根大学癌症生物学家 Lars Zender 说。
对于临床前期基础研究的可再现检验并不是新话题,但其关注点聚焦于癌症生物学研究却是从 3 年前开始。当时一篇发表于《自然》的研究称,美国安进生物技术公司的 53 篇备受瞩目的研究论文中,仅有 6 篇的研究结果可以再现。
安进方面争论称,未能再现的数据主要归咎于药物研究的高昂成本和临床实验的失败。实际上,一年前,安进公司就因为不能确定一篇发表在《细胞》上的关键研究结果而被迫放弃了寻找一种靶向 STK33 癌症蛋白的药物研究项目。
让很多人沮丧的是,上述评论的作者(一人是离开安进公司后成为一名咨询师的 Glenn Begley,另一人是休斯敦得克萨斯州立大学 MD 安德森癌症中心的 Lee Ellis)表示,由于和一些实验室签订了保密协议,他们不能公开其可再现性研究数据,而且也不能公开相关论文的题目。
但是,现在宾夕法尼亚州马尔文市 TetraLogic 制药公司工作的 Begley 随后在《自然》发表了一篇评论文章,说明了他发现的 6 个主要问题,包括缺乏适当的控制、错误的数据以及验证试剂的失败等。
不仅昂贵而且耗时
在安进事件发生的同时,癌症生物学家 Elizabeth Iorns 启动了「可再现性计划」。该计划旨在通过她建立的一个名为「科学交流」的 1000 个协约实验室网络系统,在收取一定费用后对生命科学实验进行再现性验证。
但是 Iorns 必须要给检验学术研究成果拉取资金,这些验证工作从癌症生物学开始。这让她和弗吉尼亚大学心理学家 Brian Nosek 建立的开放科学中心之间有了联系,该中心旨在提高科学透明度。
Nosek 的开放科学中心一开始通过招募科学界的志愿者对心理学研究成果进行再现,随后双方的合作使该中心有了一个新的方向。但是对于癌症研究的可再现性来说,由于相关实验涉及混乱的「湿」生物学,项目组织者决定给隶属于科学交流系统的实验室支付一定资金。
Iorns 和同事随后列出了在 2010~2012 年间引用量最大的 50 篇文章的名录。其内容覆盖从肿瘤新蛋白药物目标到肠道微生物在癌症中的角色等癌症研究领域最热门的话题。
而劳拉和约翰·阿诺德基金会资助的 130 万美元(平均每篇文章的验证费用可达 2.6 万美元)让 Iorns 选出的每一篇文章都有足够经费对关键实验进行可再现性研究。结果已经表明,收集所需要的全球信息以重现一项实验,甚至是算出要利用多少实验动物,「比我们想象的更加复杂,而且耗时更长」。Iorns 说。
让此次可再现性实验更具冲击力的是,该团队计划通过和开放获取期刊 e-life 合作,在验证工作开始之前,对每一项实验发表一份同行评议研究方案。
「这可以让原作者和外围科学家提供关键的信息。」此次可再现项目负责人、非营利性开放科学中心工作人员 Timothy Errington 说,他知道这次审核在科学界引起了不安。到目前为止,该项目已经发表了 11 份协议。它希望可以于今年秋季在 e-life 上公布第一批实验结果,并在 2017 年年底公布所有 50 篇文章的验证结果。
在批评中前行
尽管 Errington 表示,很多实验室对于参与此次实验都是「兴奋」和「喜悦」的,但实际采访情况似乎并非如此。在 50 篇论文的主要学术负责人中,约有 1/4 受访者表现出的态度甚至完全相反。其中很多人表示,这项研究已经对他们的实验和工作时间造成了严重干扰,几个月内要发 30 封甚至更多邮件。
为了填写协议细节以及从合作者那里了解信息,这些工作相当于一名研究生满满 2 周的工作量。Errington 也承认,目前一些小组已经推诿或是停止和他们沟通,至少暂时如此。
对于很多科学家来说,最大的忧虑是进行这些可再现研究的实验室的性质。他们认为,以为协约实验室或大学核心设施能够重现学术界研究人员的高度专业化团队做出的结果并不现实。「一名研究生要花费数年才能完美地掌握一种新研究方案。」Young 说。
此外,现在加利福尼亚州旧金山南部 Calico 生命科学研究机构工作的 Jeff Settleman 离开学术界进入产业界工作已有 5 年,他也赞同 Young 的观点。「给我和名厨茱莉亚·蔡尔德同样的配方,你也不能指望我可以做出同样美味的佳肴。」他说。他本人也有两篇文章位于可再现性验证的名单中。
而癌症可再现性项目背后的科研人员忽略了这些批评声音。Iorns 表示,协约实验室和核心设施人员都「高度训练有素」,而且通常比原研究者身边的技术人员「有更强的专业技能」。她还表示,项目组中的一些研究人员要花费更多时间和精力发送资料,是因为他们的研究论文中缺乏关键的信息。
此外,Settleman 还建议,期刊和评审员应该要求设计更加严密的实验,并且要求研究人员提供支撑关键研究结果的资料。很多期刊已在加强评审标准,比如要求研究方仔细审查一项申请的实验设计。
Irons 也认为确实需要类似的改革,但是对于这些高影响力论文的审核也要仔细,因为这些研究在塑造着新癌症治疗途径的探索方法。她认为,科学界「不应该担心名誉受损以及威胁到联邦经费支持,而应该担心这些文章的验证结果」。