給您的研究下個「信賴指標」
科學研究發表於期刊中,多年來逐漸形成了目前的流程、習慣與弊病。再現性問題是許多科學家親身經歷的。近年來,多項大型再現性研究試著分析已發表的癌症研究及社會科學研究,竟發現各有約30%的論文結果無法重複,其中竟包含發表於高影響力期刊的論文,科學界因此受到再現性危機的震撼。「失去信心計劃」(Loss-of-Confidence Project)被發起,鼓勵學者們大膽公開坦白對自己實驗已失去信心,欲幫助提升實驗再現性。
而另外一項最新提議來自知名史丹佛教授Steven N. Goodman,發表在《自然》:他提出學者應為論文中的數據附上「信賴指標」(confidence index),估計出研究發現為真的機率。
用「信賴指標」取代P-value
Goodman強調,目前太多的論文結果都以P<0.05來說明其結果可信。然而,這個指標容易被誤解:P-value並不能代表結果的可信度,受到許多統計學設計的限制,而0.05這個內定值也並沒有足夠依據。美國統計協會也在2016年特別聲明,正式提醒學術界切勿過度依賴P-value。
因此,Goodman提出「信賴指標」的概念,應從各方面完整地統計出對實驗結論的信心。其計算中應包含過去研究結果、學者的經驗判斷及實驗限制等多方面因素,並結合貝氏統計法,真正統計實驗結論為真的機率。
P-value的敝病
現在學術界對於P-value的依賴非常大,所有論文要發表都要P<0.05。因此,往往學者們會受壓力去操作數據,想盡辦法讓P<0.05。這種作法本末倒置,反而讓發表的原始數據失真,是科學界一大弊病。
再現性危機當前,「信賴指標」的應用能解決各方面的弊病:能更全面、完整地呈現結果,並預防投機取巧的P-value操作。