怎樣避免學(xué)術(shù)腐敗？盡管有眼鏡蛇效應(yīng)，還是不能放棄指標(biāo)評估

如果不用定量指標(biāo)，那么就只能回到完全主觀的字面評價(jià)上，這將為人為操控提供更大的空間。要防范量化指標(biāo)帶來的學(xué)術(shù)腐敗，就要把人為操控放到輿論監(jiān)督之下。

撰文 | 顧凡及（復(fù)旦大學(xué)生命科學(xué)學(xué)院退休教授）

今年5月22日，《返樸》轉(zhuǎn)載了一篇題為《h-index遭其發(fā)明者猛烈批評：扼殺學(xué)術(shù)創(chuàng)新，帶來嚴(yán)重負(fù)面影響》的文章，聯(lián)系到2月26日《返樸》發(fā)表的《兩部發(fā)文，破除得了SCI崇拜嗎？》一文，兩者都提到了學(xué)術(shù)評價(jià)指標(biāo)的負(fù)面影響問題。最近，筆者正好剛翻譯了老友彼得·埃迪（Peter Erdi）教授的新著《排名》[1]，書中有部分內(nèi)容把這一問題放到當(dāng)今社會(huì)上無所不在的排名框架里，討論其中的得失，很受啟發(fā)。所以也想趁機(jī)對這個(gè)問題發(fā)表一點(diǎn)看法，就正于讀者和一切對這一問題感興趣的人。

老鼠效應(yīng)和眼鏡蛇效應(yīng)筆者以為，過度否定這些指標(biāo)或過度依賴這些指標(biāo)都是錯(cuò)誤的。錯(cuò)是錯(cuò)在“唯”和“至上”上，而不在指標(biāo)本身，雖然任何指標(biāo)都不會(huì)完美無缺。不管你喜歡與否，出于對資源合理分配的需要，無論是基金資助、獎(jiǎng)勵(lì)、職稱評定、晉升、錄取等等，社會(huì)或機(jī)構(gòu)都必須對學(xué)術(shù)成果進(jìn)行評價(jià)，不是制定出某些定量指標(biāo)作為評價(jià)的度量，就是用語言做主觀的描述。人們之所以偏愛定量指標(biāo)就是因?yàn)橄嘈牌溆锌陀^性，以為它能給出客觀、公正的評價(jià)；而人們之所以抨擊這些定量指標(biāo)，也是因?yàn)檫@些貌似客觀的指標(biāo)中其實(shí)都或多或少隱藏有主觀的成分，或至少只是從一個(gè)片面來進(jìn)行評價(jià)，這就給人以利用和操控的機(jī)會(huì)，從而隱藏著學(xué)術(shù)腐敗，助長片面追求某個(gè)指標(biāo)而扼殺創(chuàng)新的風(fēng)險(xiǎn)。

其實(shí)不僅是定量指標(biāo)而已，任何評價(jià)體系如果不加小心，都會(huì)產(chǎn)生這樣的風(fēng)險(xiǎn)。歷史上的老鼠效應(yīng)（rat effect）就是這樣的例子。在法國統(tǒng)治越南期間，河內(nèi)城里到處都是老鼠。為了減少老鼠的數(shù)量，殖民當(dāng)局實(shí)施了一項(xiàng)政策，按該項(xiàng)政策只要?dú)⑺览鲜缶涂梢缘玫綀?bào)酬。人們只需把老鼠尾巴交給當(dāng)局就可以拿錢，于是人們不殺老鼠，只是把老鼠的尾巴割掉，然后放回下水道，讓老鼠繼續(xù)繁殖，以確保殺鼠者獲得更多的利潤。這樣老鼠不僅沒有減少反而增多了。眼鏡蛇效應(yīng)（cobra effect）則是另一個(gè)例子。在英國殖民當(dāng)局統(tǒng)治印度期間，為了消滅大量的毒蛇，英國政府規(guī)定每殺死一條蛇，都會(huì)給予報(bào)酬。這一政策最初效果不錯(cuò)，但當(dāng)?shù)厝碎_始飼養(yǎng)蛇，以確保他們能繼續(xù)領(lǐng)錢。英國當(dāng)局不得不停止這一計(jì)劃，人們就把蛇放掉，這樣該地區(qū)的眼鏡蛇比以前更多了。[2]定量指標(biāo)如果使用不當(dāng)則可能火上澆油，加劇這種風(fēng)險(xiǎn)。

美國社會(huì)學(xué)家和心理學(xué)家唐納德·坎貝爾（Donald Campbell）總結(jié)了這些現(xiàn)象，他聲稱："任何量化的社會(huì)指標(biāo)越多被用于社會(huì)決策，就越容易受到腐敗壓力的影響，就越容易扭曲和腐蝕它所要監(jiān)測的社會(huì)進(jìn)程。"這被稱為坎貝爾定律。[3]他以考試成績?yōu)槔隽诉M(jìn)一步的說明："在以通識為目標(biāo)的正常教學(xué)條件下，考試成績可以當(dāng)做衡量學(xué)?？傮w成就的有用指標(biāo)。但是，當(dāng)考試分?jǐn)?shù)成了教學(xué)過程的目標(biāo)時(shí)，它們既失去了作為教育狀況指標(biāo)的價(jià)值，又以我們所不希望的方式扭曲了教育過程。"[3]這就是我們經(jīng)常所說的“應(yīng)試教育”的弊病。

來源：《科研圈》

考試分?jǐn)?shù)是評估教學(xué)或?qū)W生質(zhì)量的定量指標(biāo)，而發(fā)表在SCI期刊上的論文篇數(shù)、文章的引用率、h-指數(shù)則是對學(xué)術(shù)水平或研究人員的定量評估。我們并不因?yàn)閼?yīng)試教育的弊病就廢除高考，同樣理由也不能因?yàn)楹笳咚赡軒淼膶W(xué)術(shù)腐敗就一概否定這些指標(biāo)。大家都知道，我們曾經(jīng)廢除過高考，而實(shí)行由單位報(bào)送進(jìn)大學(xué)，在后一種方式下自然不再有定量評估指標(biāo)了，但是結(jié)果大家是都知道的，腐敗程度更為嚴(yán)重，這才不得不重新恢復(fù)高考。而且大家都承認(rèn)，雖然高考也確實(shí)帶來了盛行應(yīng)試教育的風(fēng)險(xiǎn)，但是卻是所有方法中相對說來最公平的方法。因此從評估來說，其實(shí)沒有萬全而完美無缺的方法，只能尋求相對公正而客觀的方法。西諺所說：“The best is the enemy of good”或可譯為“過于追求完美反而得不到好結(jié)果”，我想是有一定道理的。所以，各種指標(biāo)雖然都只是從一個(gè)側(cè)面進(jìn)行評估，而且其中也都包含了主觀的因素，但是從某種意義上說來，它們至少比純粹的主觀評價(jià)要好。當(dāng)然我們也必須清醒地認(rèn)識到，所有指標(biāo)都只反映了一個(gè)側(cè)面，并且不可避免地有主觀因素，至少為什么僅僅選取這一側(cè)面，而不選取其他側(cè)面就是主觀的。因此在應(yīng)用時(shí)必須謹(jǐn)慎，最好要考慮多個(gè)指標(biāo)，并和其他手段結(jié)合起來應(yīng)用。盡管如此，主觀性依然不能完全避免，比如當(dāng)考慮多個(gè)指標(biāo)時(shí)，根據(jù)各個(gè)指標(biāo)的重要性而賦予不同的權(quán)重就包含主觀性。

認(rèn)清指標(biāo)局限但不能一拋了之現(xiàn)在就來看看在SCI期刊上發(fā)表的論文篇數(shù)、影響因子和h-指數(shù)這些指標(biāo)各反映了什么側(cè)面及其局限性。

在SCI期刊上發(fā)表的論文篇數(shù)是最粗糙，但是也經(jīng)常被用到的一個(gè)評估指標(biāo)。這個(gè)指標(biāo)主要反映了作者科研活動(dòng)量的方面，因此也是局限性比較嚴(yán)重的一個(gè)指標(biāo)，這就是為什么號稱“SCI之父”的加菲爾德（Eugene Garfield）博士自己也認(rèn)為，以SCI論文數(shù)量評價(jià)科學(xué)水平是不合適的。評估人、包括評估一個(gè)機(jī)構(gòu)或期刊，需要用多個(gè)科學(xué)評估標(biāo)準(zhǔn)而不是一個(gè)評估標(biāo)準(zhǔn)來評估。人們必須摒棄急功近利的思想，必須重視論文的質(zhì)量而不是數(shù)量，要重視論文被引用的情況。[4]當(dāng)然也不能說發(fā)表在SCI期刊上的論文篇數(shù)一點(diǎn)也不反映質(zhì)量，這是因?yàn)槠诳籗CI收錄需要經(jīng)過對該期刊最近3年所發(fā)表的文章的引用情況的審查，質(zhì)量很差的期刊是通不過這一審查的。SCI期刊的問題是缺乏退出機(jī)制，某個(gè)期刊一旦進(jìn)入SCI檢索之后，除非出現(xiàn)持續(xù)的嚴(yán)重丑聞，否則不會(huì)被剝奪SCI檢索資格。因此一份雜志在申請SCI檢索期間可能非常謹(jǐn)慎，編輯部會(huì)非常注意發(fā)表文章的質(zhì)量，但是一旦進(jìn)入SCI檢索之后，主編就可能對其“哥兒們”網(wǎng)開一面，特別是在評審制度中唯SCI篇數(shù)的情況下，給無法通過正常途徑在SCI期刊上發(fā)表文章的作者在本期刊上取得有SCI論文的光鮮是很大的人情，這可能為主編建立自己的關(guān)系網(wǎng)，謀取國內(nèi)地位有很大的好處。有些主編甚至在本人主編的SCI期刊上大量發(fā)表自己和自己團(tuán)隊(duì)的論文，以謀取私利。這正是坎貝爾定律所擔(dān)憂的情況。

影響因子被認(rèn)為是衡量學(xué)術(shù)期刊影響力的一個(gè)重要指標(biāo)。其定義是某期刊前兩年發(fā)表的論文在統(tǒng)計(jì)當(dāng)年（U）的被引用總次數(shù)X（前兩年總被引次數(shù)）除以該期刊在前兩年內(nèi)發(fā)表的論文總數(shù)Y（前兩年總發(fā)文量）。[5]一般認(rèn)為影響因子是衡量期刊學(xué)術(shù)影響力大小的指標(biāo)。當(dāng)然嚴(yán)格地講，影響因子只是期刊上所發(fā)表的文章受到引用的情況，這種情況如果不受操縱，那么確實(shí)和該期刊上所發(fā)表的文章受到讀者的關(guān)注度有關(guān)，因此，在一定程度上也是對其質(zhì)量的某種度量。但影響因子的重要性只是間接體現(xiàn)的，實(shí)際上一份雜志的影響因子和其所在領(lǐng)域有很大的關(guān)系，例如一般說來，數(shù)學(xué)雜志受到社會(huì)關(guān)注的程度要遠(yuǎn)小于醫(yī)學(xué)雜志受關(guān)注的程度。而受關(guān)注程度也是間接體現(xiàn)的，這就給人為操縱以可乘之機(jī)。例如有的主編在給作者發(fā)修改通知函時(shí)會(huì)要求作者增加引用本刊上發(fā)表過的文章。雖然后來人們采取排除自引率這樣弄虛作假的因素，但有的主編依然可能在給其編委發(fā)信時(shí)要求這些編委在他們自己的雜志中多引用本刊發(fā)表的文章，當(dāng)然作為利益交換他們也會(huì)多引用這些編委主編的雜志的文章。

h-指數(shù)中的h則是兼顧發(fā)表文章的數(shù)量和引用情況的一個(gè)指標(biāo)，如果一個(gè)作者發(fā)表了H篇被引用了H次或以上的文章，那么最高的那個(gè)H值就是這位作者的h-指數(shù)。[6]比起發(fā)表SCI論文的篇數(shù)和引用情況的單個(gè)指標(biāo)來說，h-指數(shù)兼顧了這兩個(gè)方面，但是其定義顯然有很大的人為性，實(shí)際上也是在綜合前兩個(gè)指標(biāo)中加了權(quán)，而加權(quán)就帶來主觀因素。

應(yīng)該注意的是，以上指標(biāo)都是對論文的評估，如果科學(xué)技術(shù)的成果主要不是論文，那么要求用這樣的指標(biāo)來評估這些成果就完全是不合適的。例如保密的高精尖技術(shù)根本就不發(fā)表，因此也就根本談不上SCI論文篇數(shù)、引用率或h-指數(shù)，但是有誰能否認(rèn)這些技術(shù)的重要性呢？還有某些給社會(huì)帶來巨大產(chǎn)能的技術(shù)也有類似的情況。要想用上述定量指標(biāo)來評價(jià)這些成果顯然是牛頭不對馬嘴。不過這些并不是這些指標(biāo)本身的問題，而是使用的人用錯(cuò)了地方。

本文開頭提到的赫希對自己所提出的h-指數(shù)的抨擊中，他認(rèn)為自己親手創(chuàng)造的這個(gè)指標(biāo)已經(jīng)對自己的職業(yè)生涯和學(xué)術(shù)界的創(chuàng)新造成了損害，“它也會(huì)大錯(cuò)特錯(cuò)，產(chǎn)生意料之外的嚴(yán)重負(fù)面影響?！崩鏷-index 會(huì)樹立某種權(quán)威，足以讓一個(gè)學(xué)科止步不前。又如在他自己發(fā)表的論文中，被引數(shù)和研究的重要性完全不對等。

喬治·赫希｜圖片來源：Nature Index

赫希的這種反思精神固然可敬，不過h-指數(shù)并沒有帶來比引用率更多的問題，甚至可以說他所抨擊的現(xiàn)象只要采取定量指標(biāo)就都會(huì)或多或少地存在。那么，是否因?yàn)橄窨藏悹柖伤赋龅亩恐笜?biāo)帶來的潛在風(fēng)險(xiǎn)就根本廢棄這些指標(biāo)呢？筆者以為這正如倒掉洗澡水而把嬰兒也一起倒掉一樣不妥。如果不用定量指標(biāo)，那么就只能回到完全主觀的字面評價(jià)上，這將為人為操控提供更大的空間。世界上沒有十全十美的評估方法，正如社會(huì)上流傳的話：“上有政策，下有對策。”要想制定出一種下面找不到任何“對策”的政策幾乎是不可能的，但是人們不會(huì)因此說不要再制定政策了。

總而言之，我們依然應(yīng)該使用定量指標(biāo)，但是在使用時(shí)要謹(jǐn)慎，應(yīng)該明白所用指標(biāo)的真正含義，以及可能受人操控的危險(xiǎn)。對付這種風(fēng)險(xiǎn)只能把操控放到輿論的監(jiān)督之下。要想制訂出一種能十全十美的完全客觀的評估指標(biāo)，這只是一種幻想。千萬不能唯指標(biāo)或指標(biāo)至上，但也不能不用指標(biāo)。

參考文獻(xiàn)

[1] Erdi P (2019) Ranking: The Unwritten rules of the Social Game We All Play. Oxford University Press. 筆者已譯出中文，將由上海教育出版社出版，書名還未最后定下來，但是少不了關(guān)鍵詞“排名”。

[2] https://en.wikipedia.org/wiki/Cobra_effect

[3] Campbell, DT.(1979) Assessing the impact of planned social change. Evaluation and Program

Planning. 2 (1): 67–90.

[4] SCI之父：不能以SCI論文數(shù)量評價(jià)科學(xué)水平。人民網(wǎng)-《人民日報(bào)》2009年09月15日07:59 http://scitech.people.com.cn/BIG5/10052660.html

[5] Impact factor (https://en.wikipedia.org/wiki/Impact_factor )

[6] h-index (https://en.wikipedia.org/wiki/H-index)