同儕審查的時候,如果論文送還作者之前,編輯和審稿人可以坐下來共同探討論文,共同解決稿件問題不是很好嗎?有許多人雖這樣認為,並且主張這樣的交互或合作過程。其他人則持懷疑態度,認為不受他人觀點幹擾的獨立審查更加有效。那麼,哪句格言最佳形容了同儕審查——「三個臭皮匠,勝過諸葛亮」,還是「廚子多了燒壞湯」?
同儕審查試驗
愛思唯爾出版社 (Elsevier) 開展了一項試驗以便得知同儕合作審查審查是否優於傳統審查過程。他們採用Mendeley程式讓編輯和審稿員在審稿時匿名閱讀彼此的評論,並相互探討論文。審稿員、編輯和作者幾乎一致表示合作的過程能夠產生更好的評論。互動討論澄清了審稿員們心中抱持的疑問,並且為編輯提供了更加一致的意見。作者認為合作審查給予修改稿件更精確的指引。至於缺點呢?只有一個。互動式過程比標準的個人審查過程耗時更長。加重了編輯和審稿員的工作負荷。
讓我們看看專家對同儕合作審查的看法:
為何不為編輯提供可能的最佳資訊呢?
合作:一個有價值的工具
我覺得合作同儕審查是個好主意。我提交的一些稿件在返回時標注了許多意見相左的評論。在同一封信件中,兩個審稿員皆認為不適宜發表,但提出完全相反的意見:一個認為其中的機制不夠新穎,另一個則認為這個機制為史無前例地創新。合作審查程式可以讓審稿員共同解決這些矛盾的想法,而不是發送給編輯兩個令人困惑不已的意見(我的論文最後被接受了)。
我擔任業主董事會主席時,直接見識到小組討論的優勢。互動最終產生的決策幾乎總是略有不同,顯然比個人參加討論的意見好得多。一旦所有事實和意見攤開來說,人們就會進行評估,然後匯總成最佳方案。
討論與執行:合作審稿的批評者通常想到的是複數執行的危險。如果多個執行者分裂成兩派,就沒法採取行動。不過,同儕審查不存在這種情況。在互動式審查過程中,只有一個執行者——編輯來作最後的決定。無論是合作審查或其他類型審查過程,都僅為編輯提供根據其決策的資訊。那麼何不為編輯提供可能的最佳資訊呢?
有機化學博士
6以上年科學與醫療寫作經驗,美國
……更能防止不公正的正面或負面評論……也更可能需要進行多次編輯,從而增加了投入的時間。
合作審查是個非常有趣的想法,顯然有利有弊。以我的經驗,傳統同儕審查具有的一個問題是審稿員的偏見。比如,許多研究人員推薦他們的朋友或前同事作審稿員,卻將其研究領域的潛在競爭者排除在外。利用合作審查過程可能防止不公正的正面或負面評論,從而為世界各地的研究者建立更加「公平的競爭環境」。也可能產生更深入、更周密的審查。
相反地,合作審查過程可能導致其中一位審稿員影響或改變其他審稿員的想法。這可能是件正面的事,但也可能別有用心。此外,合作審查過程可能需要進行多次編輯,從而大幅增加了審稿員可能的投入時間。由於大部分同儕審稿員認為他們的時間已非常緊了,因此如果需要審查的退稿率增加,學術期刊可能很難找到合適的審稿員。
分子與細胞生物學 博士
10年以上科學實證與編修經驗,美國。
……這對透過清除存在於審稿員之間的錯誤觀念,以提高發表的論文品質有相當大的潛力。
表面上看來,合作同儕審查似乎是個好主意,尤其是在向作者和編輯提出一連串建議的過程上。但是,目前的合作審查耗時耗力,仍然處於實踐初期。合作審查所需工作量可能與一些調整過的審查管理類型相同或者甚至更少。比如,在《Neuron》期刊的試驗中,編輯們認為將討論應用於更富潛力的文章時,該討論最具價值,所以建立一個免於進一步處理劣質論文的系統架構可能是明智的行為。
如果可以看到一篇關於同儕審查及同儕效應對合作審查過程影響的研究,想必會非常有趣。由於各領域存在大量專業知識、審稿員進行匿名評論,而且只在提交初步大綱後進行評論,同儕審查的影響可能微不足道。不過同儕行為的影響仍然可能會減少對結論的適當關注。
總之,我想說,透過清除審稿員的錯誤想法,並為作者提供更佳的回饋,然後作者也得以做出更好的修改,合作同儕審查在提高出版的論文品質上含有巨大的潛力。
訊息技術碩士
11年以上英日翻譯經驗,日本
公開討論讓編輯更容易確認提出的技術問題是否存在重大缺陷。
合作同儕審查可能很冗長;不過,審稿員討論稿件所花費的時間,可能是身為作者的您不需要花費來回答有異議的審稿員評論的時間,因為任何爭議都將會在編輯階段便進行處理。我的確想知道採用合作同儕評論方法後,是否更容易實踐透明化(比如,有強烈利益衝突的人除了提供稿件的評價外,可能無法直接「斃掉」一篇論文,因為審稿員需要在其他審稿員面前解釋該稿件不能發表的原因)。公開討論讓編輯更容易確認提出的技術問題是否存在重大缺陷,或者是否能僅以數個注意事項處理。整體來說,作者和審稿員似乎都對於公開討論保持正面且積極的態度,而合作同儕審查則有助於編輯作出明智的決定。我認為值得一試!
生物學博士
擁有12年以上自然領域編輯經驗,英國。
參加即時討論提供了直接的知識回報,可以提高對目前科學的參與度。
針對互動同儕審查的開放,可能可以明顯改善科學出版物的品質,而且可以預防欺詐,儘管保密性要求可能導致公開評論和政治導向評估之間產生差別。在目前的電子環境下,Mendeley的合作特色是科學論述上的顯著進步,其提供了快捷的全球性意見、觀點交流,並且要求不限制文章接觸眼光明銳的投稿人的公共論壇評論完整性。因此,合作同儕審查的支持者聲稱,合作審查過程可以避免已經滲透到傳統審查過程中的拙劣研究弱化科學文獻。而且,參加即時討論提高了直接的知識回報,可以提供對目前科學的參與度,可望建立一個充滿生動的分析性談話,比如17世紀知識與財富兼備的精英思想家們津津樂道的那種科學烏托邦。可是,如同傳統審查過程,隨後的品質控制將繼續反映出未獲報酬,又可能具有說服力和物質動機的審稿員所耗費的時間。因此,科學嚴謹性與客觀性的改善預期仍有待觀察。
癌症博士
12年以上科學與醫療寫作經驗,澳洲
……這對那些可受益於於合作審查的論文來說,應為可用的選擇。
雖然將Mendeley程式用於合作同儕審查要求編輯花費更多時間準備,也要求審稿員花費更多時間來完成工作,但是互動式審查中所獲得的好處,讓人感覺似乎值得一試。根據使用這種新系統的一系列初步研究,論文作者們認為審查過程進行的討論有助於他們釐清應該如何修改論文。編輯也發現這一過程有助於針對需要進一步討論的問題達成共識。
互動討論被認為在編輯和審稿員認為有望在該學術期刊上發表的論文上最具價值。審稿員對論文的意見越是不同,他們就越對互動感興趣,這種新系統讓審稿員可以進行進一步討論。
由於使用這種互動審查方法耗時耗力,因此與其成為新標準,它應該成為可以受益於合作論討過程論文的一種可行選項。