美国国防部高级研究项目局（DARPA）的“公然研究与证据决定信念体系化”（SCORE）项目近日于《天然》发表的多篇论文，陈诉了用时7年的年夜型项目的研究成果。他们于对于3900篇社会科学论文举行研究后，患上出一个使人不安的结论：于对于所测试的研究举行反复试验时，只有对折研究成果可以或许获得验证。
美国斯坦福年夜学的元科学家John Ioannidis暗示，SCORE的研究范围及广度使人印象深刻，但成果“其实不使人不测”，由于这与以前小范围研究成果一致。
美国“开放科学中央”（COS）的研究卖力人Tim Errington暗示，SCORE项目患上出的成果，其实不象征着科学研究质量低下。COS介入了SCORE项目的部门研究。Errington指出，有些成果没法反复是由于研究职员的掉误或者少少数的学术不端举动，但SCORE项目发明，年夜大都环境系是论文提供的数据或者试验细节不足，致使试验没法正确反复。
10多年来，研究职员一直于查询拜访科学结果靠得住性方面的“危机”。他们发明，很多科学试验没法反复，不仅于社会科学范畴，于生物医学范畴也是云云。
SCORE团队的865名研究职员对于发表于62种期刊上的论文细心研究。这些论文涵盖了经济学、教诲学、生理学及社会学等多个范畴。他们经由过程评估3个特性来查验先前已经发表的研究成果是否站患上住脚。这3个特性别离是：再现性、稳健性及复制性。
查验一篇论文可托度的一个要领是看其成果可否被再现，即对于不异数据举行彻底不异的阐发可否患上出不异的成果。当SCORE团队的一些成员试图再现600篇论文的数据阐发时，发明只有145篇论文提供了充足的细节以供再现，此中只有53%的成果可以或许被切确重现。不外，Errington暗示，很多掉败多是由于SCORE的研究职员需要对于步伐举行预测或者从头创立原始数据。更开放地同享数据以和更透明地申明要领应该有助在解决这个问题。
SCORE团队还有查抄了研究的稳健性，即对于一篇论文的数据举行另外一种合理的阐发是否仍患上出不异的结论。于接管审查的100篇论文中，约有3/4经由过程了测试。但有2%的环境下，新的阐发患上出了与原始论文相反的结论。“这使人担心。”Errington说，新兴的主动化东西可以或许对于统一数据举行多种合理阐发，这类技能被称为“多元宇宙阐发”。这有望让研究职员于发表前相识各类要领是否患上出不异的成果，从而提高研究的稳健性。
末了，SCORE对于论文的复制性举行了查验。这是3个特性查验使命中最艰难的一项。研究职员努力反复整个试验，重新最先网络及阐发数据。于他们重点存眷的164项研究中，只有49%的研究于统计显著性上具备可复制性。这一数字年夜致与其他近似研究的成果相符。
Errington暗示，因为反复试验耗时又花钱，开发包括人工智能（AI）模子于内的主动化阐发东西很主要。这些东西可以或许猜测一篇论文是否靠得住。SCORE项目的一个方针就是开发出可以或许为社会科学发明分配置信度分数的主动化东西。
主动化东西的价值凡是以人完成使命的效果来权衡，是以SCORE团队起首查抄了人类可否正确猜测论文的可反复性。他们测试了两种计谋：一种触及于线市场，另外一种则基在布局化的小组谈天及研究职员的自力评估。按照近日宣布于预印本办事器MetaArXiv上的研究，这些计谋于猜测研究可反复性方面的最高正确率为76%~78%。
SCORE研究职员最初测验考试利用主动化东西做近似的工作其实不乐成。COS的Andrew Tyner牵头开展了一项自力在SCORE的“猜测可反复性挑战”，今朝该正于测试包括年夜型语言模子于内的计较东西。挑战获胜者将得到现金奖励。
于去年10月进行的首轮竞赛中，利用AI东西的10支步队于猜测一篇论文可否被反复验证方面的患上分低在随机预测的程度。但于上个月竣事的第二轮竞赛中，体现最好的AI模子正确率到达了68.5%。今朝第三轮竞赛正于举行中。
Errington说，这些成果使人鼓动，注解AI东西终有一天会助力评估科学研究。但这些东西间隔实现这一方针还有很遥远，“它们还有差患上远”。
相干论文信息：https://doi.org/10.1038/s41586-025-10078-y
https://doi.org/10.1038/s41586-026-10203-5
https://doi.org/10.1038/s41586-025-09844-9
https://doi.org/10.1038/s41586-026-10251-x
版权声明：凡本网注明“来历：中国科学报、科学网、科学新闻杂志”的所有作品，网站转载，请于正文上方注明来历及作者，且不患上对于内容作本色性改动；微信公家号、头条号等新媒体平台，转载请接洽授权。邮箱：shouquan@stimes.cn。-bevictor伟德官网
