摘要: 原標(biāo)題:打破唯論文梏 科研評價改革探索 近年來,我國致力于破除唯論文的科研評價體系,出臺多項改革政策,聚焦多元評價、分類評價等重點問題,但
原標(biāo)題:打破“唯論文”梏 科研評價改革探索
近年來,我國致力于破除“唯論文”的科研評價體系,出臺多項改革政策,聚焦多元評價、分類評價等重點問題,但在高??蒲性u價實踐中仍面臨諸多挑戰(zhàn),如影響力評價、定量定性結(jié)合評價、學(xué)科分類評價的具體實施等。英國、德國、法國、意大利、荷蘭和挪威等國在科研評價改革方面先行一步,其經(jīng)驗可為我國提供借鑒。
英國構(gòu)建卓越框架體系,采用代表作評價,實行學(xué)科分類評價,評估結(jié)果影響經(jīng)費分配;德國高校評價以州級自主為主,采用分類評價,結(jié)果作為經(jīng)費資助參考;法國強(qiáng)調(diào)高校自主性,采取內(nèi)外部結(jié)合的評價模式;意大利注重學(xué)科分類評價和代表作評價,評價結(jié)果與經(jīng)費分配掛鉤;荷蘭采用診斷性評價模式,聚焦科研質(zhì)量提升;挪威建立國家級科研信息系統(tǒng),科研評價與經(jīng)費分配系統(tǒng)獨立。
這些國家在科研評價方面呈現(xiàn)出諸多特征:兼顧多元評價主體,協(xié)調(diào)多方利益;細(xì)化影響力評價指標(biāo),區(qū)分學(xué)術(shù)與社會影響力;推行代表作評價,豐富成果提交形式;實行學(xué)科分類評價,依據(jù)學(xué)科特點選擇方法;定量與定性評價相結(jié)合,發(fā)揮兩者優(yōu)勢。
基于國際經(jīng)驗,我國高??蒲性u價改革可從多方面著手:倡導(dǎo)診斷性評價,根據(jù)不同目的設(shè)計評價機(jī)制;推行分類與多元評價,考慮高校和學(xué)科差異,平衡多元利益;注重定量與定性方法結(jié)合,依據(jù)評價對象層級選擇合適方法;建立國家級科研評價信息系統(tǒng),提供信息支撐,減輕評價負(fù)擔(dān),促進(jìn)信息共享;重視評價結(jié)果應(yīng)用與反思,實現(xiàn)以評促建;平衡高校科研與其他職能,合理設(shè)置科研評價比重,推動高校全面發(fā)展。
以下是文章全文——
01
引言
科研能力是一個國家科技創(chuàng)新與發(fā)展的核心驅(qū)動力,而高校作為高等人才聚集和培養(yǎng)的重要場所,對國家的科技發(fā)展具有重要推動作用。如何使用好科研評價這個“指揮棒”,使其更好地服務(wù)于我國科技進(jìn)步和學(xué)術(shù)研究是高??蒲性u價工作的主要目標(biāo)。進(jìn)入21世紀(jì),伴隨著國民經(jīng)濟(jì)的飛速發(fā)展,我國的科研投入不斷增加,高等教育規(guī)模日益擴(kuò)大,高校的科研職能更加凸顯。為有效發(fā)揮科研職能,高校不斷加強(qiáng)科研管理與評價工作,“科研評價熱”愈演愈烈,導(dǎo)致論文指標(biāo)在高校評價中的用途不斷擴(kuò)展甚至出現(xiàn)異化。21世紀(jì)初,我國的科研評價政策更偏向于“量”的評價,評價指標(biāo)依賴于科研產(chǎn)出的數(shù)量,“論文數(shù)”是高校科研評價中的重要指標(biāo)。近年來,在偏重定量評價的政策導(dǎo)向下,我國論文數(shù)量在較短時間內(nèi)實現(xiàn)了大幅提升——據(jù)美國國家科學(xué)基金會(US National Science Foundation,NSF)統(tǒng)計,2018年我國在科學(xué)出版物總數(shù)上首次超過美國,躍居世界第一。但成績背后也存在負(fù)面效應(yīng),強(qiáng)化定量考核的科研評價政策使得我國科研成果存在著“重數(shù)量輕質(zhì)量、重形式輕內(nèi)容、重短期輕長遠(yuǎn)”的現(xiàn)象,部分科研人員甚至出現(xiàn)“灌水論文”“造假論文”“代寫買賣論文”或其他科研不端行為。這不僅違背了高??蒲性u價政策制定的根本目標(biāo),也不利于我國學(xué)術(shù)健康發(fā)展與科研水平長期持續(xù)提升,因此需要對高??蒲性u價制度進(jìn)行改革,改變和優(yōu)化浮夸浮躁、急功近利的科研環(huán)境,為我國科研水平的不斷提高與科技長期發(fā)展注入科學(xué)精神與新的活力。
近年來,我國出臺了一系列改革措施。2020年2月,科技部印發(fā)《關(guān)于破除科技評價中“唯論文”不良導(dǎo)向的若干措施(試行)》的通知,強(qiáng)調(diào)推行分類評價,改變“唯論文”的不良導(dǎo)向。同期,教育部和科技部印發(fā)《關(guān)于規(guī)范高等學(xué)校SCI論文相關(guān)指標(biāo)使用樹立正確評價導(dǎo)向的若干意見》的通知,明確提出要準(zhǔn)確理解SCI論文及相關(guān)指標(biāo),建立健全分類評價體系,注重標(biāo)志性成果的質(zhì)量、貢獻(xiàn)和影響,強(qiáng)化代表作同行評議等要求。2020年10月,中共中央、國務(wù)院印發(fā)《深化新時代教育評價改革總體方案》,強(qiáng)調(diào)要改進(jìn)高等學(xué)校評價,突出質(zhì)量導(dǎo)向,要根據(jù)不同學(xué)科、不同崗位特點,堅持分類評價,推行代表性成果評價,探索長周期評價,完善同行專家評議機(jī)制,發(fā)揮評價的指導(dǎo)引領(lǐng)作用。2020年12月,教育部印發(fā)《關(guān)于破除高校哲學(xué)社會科學(xué)研究評價中“唯論文”不良導(dǎo)向的若干意見》的通知,要求優(yōu)化評價方式,堅持分類評價,探索多元評價,推行代表性成果評價,突出同行專家在科研評價中的主導(dǎo)地位。從以上政策文件的內(nèi)容可以看出,目前我國的科研評價改革正在聚焦于多元評價、分類評價、影響力評價、代表作評價、定量信息支持的同行評議等重點問題。
但截至目前,以上科研評價政策與改革導(dǎo)向在高校評價實踐過程中仍存在著如何進(jìn)行影響力評價、如何在評價中有效結(jié)合定量定性方法、如何實行學(xué)科分類評價等一系列具體實踐問題。這些實踐問題并非中國特有,關(guān)于科研評價改革的反思與討論在國外也屢見不鮮。近十年來,國際上出臺了一系列倡議,致力于不斷推進(jìn)科研評價改革,例如2013年的《舊金山科研評價宣言》(San Francisco Declaration on Research Assessment,DORA)倡導(dǎo)負(fù)責(zé)任地使用科研評價指標(biāo);2015年的《萊頓宣言》(The Leiden Manifesto for Research Metrics)提出了合理利用科學(xué)評價指標(biāo)的10條原則;2020年歐盟推出的《負(fù)責(zé)任的研究與創(chuàng)新政策》(Responsible Research and Innovation)強(qiáng)調(diào)了科研創(chuàng)新工作的社會貢獻(xiàn);等等。由此可見,一些國家和地區(qū)較早地注意到了先前科研評價指標(biāo)在應(yīng)用于評價實踐中存在的問題,并積極進(jìn)行了改革探索,這為我國當(dāng)下高??蒲性u價改革提供了豐富案例和實踐經(jīng)驗。歐洲是評價改革的先驅(qū),歐洲各國之間展開了豐富的國際交流合作,在科研評價的許多問題上達(dá)成了一定共識。同時,這些國家的評價模式又各具特色,形成了多個知名評價體系,得到學(xué)者、政策制定者與媒體輿論的廣泛關(guān)注。鑒于此,本文選取英國、德國、法國、意大利、荷蘭和挪威6個代表性國家,以其國家層面針對高校的科研評價實踐作為研究案例進(jìn)行比較分析。這6個國家在影響力評價、學(xué)科分類評價、多元評價體系、代表作評價方法、診斷性評價模式和數(shù)據(jù)平臺支持等方面各具特色,能夠為我國科研評價的改革和發(fā)展提供一定的借鑒意義。
02
國際實踐與對比分析
一個國家的科研文化背景與歷史沿革對其當(dāng)下的評價體系具有重要影響。因此,本部分對各國高??蒲性u價背景與實踐情況進(jìn)行概述,以勾勒不同國家高??蒲性u價實踐的基本面貌,之后分別從評價體系、評價目的、推動主體、評價周期、評價方法及是否影響資源分配等維度對英國、德國、法國、意大利、荷蘭、挪威6個國家進(jìn)行橫向比較,總結(jié)國際高??蒲性u價的主要特征。
?。ㄒ唬﹪H實踐
英國、德國、法國、意大利、荷蘭和挪威的高??蒲性u價實踐根植于本土評價環(huán)境,形成了具有鮮明國家特色的高校科研評價體系。英國構(gòu)建了“卓越框架體系”,倡導(dǎo)多元評價;德國高校評價工作由各州獨立組織并進(jìn)行靈活調(diào)整;法國兼顧多維評價目的,采用內(nèi)外部結(jié)合的評價模式;意大利注重分類評價,依據(jù)學(xué)科領(lǐng)域特點,側(cè)重不同的評價方法;荷蘭采用診斷性評價,著重評估科研質(zhì)量和社會影響;挪威建立國家科研信息系統(tǒng),實現(xiàn)全景信息監(jiān)測與支撐。以下將分別介紹各個國家高??蒲性u價的歷史沿革和實踐特色。
1.英國:多元評價體系
近十年來,英國在高??蒲性u價方面進(jìn)行了一系列卓有成效的改革,對提升英國整體的科研競爭力起到了非常重要的促進(jìn)作用。從高校評價體系構(gòu)建角度看,英國政府依據(jù)多元評價思想,先后將高校的科研、人才培養(yǎng)及社會服務(wù)活動納入評價范圍,不斷向精細(xì)化的方向擴(kuò)展評價維度,形成了卓越研究框架(Research Excellence Framework,REF)、卓越教學(xué)框架(Teaching Excellence Framework,TEF)和知識交換框架(Knowledge Exchange Framework,KEF)并舉,同時覆蓋高校三大職能的高校評價體系——卓越框架體系。卓越研究框架是2014年英國政府在傳統(tǒng)科研評估實踐(Research Assessment Exercise,RAE)基礎(chǔ)上做出重大調(diào)整的全新評估制度,是目前英國最主要的高校科研評價體系。該制度采用代表作評價方法,致力于優(yōu)化英國高校的科研管理,提升高校科研質(zhì)量和效率,其評估結(jié)果直接影響高校經(jīng)費分配。卓越研究框架實行學(xué)科分類評價,根據(jù)學(xué)科特點將34個子學(xué)科劃分為4個大類后分別進(jìn)行評估。評估專家由資助機(jī)構(gòu)任命,其中包括一定比例的國際專家和來自醫(yī)藥、工業(yè)、能源與環(huán)境等領(lǐng)域的用戶成員,以保證評價結(jié)果的全面客觀。卓越研究框架的主要評估維度包括科研產(chǎn)出、科研影響及科研環(huán)境三個方面,占比分別為60%、25%和15%。
在新一輪的高校評價中,英國政府委托高等教育基金委員會于2020年7月出臺《卓越研究框架2021修正草案》,此方案將作為英國本輪高等教育科研撥款及高校排名的權(quán)威依據(jù),評估結(jié)果已于2022年5月12日發(fā)布。這一結(jié)果將有利于英國高校進(jìn)行國內(nèi)及國際定位,并幫助高校進(jìn)行戰(zhàn)略決策??傮w而言,英國高??蒲性u價的覆蓋范圍在不斷增加,評價維度不斷完善,逐步將科研的社會影響納入科研評價過程中,并以同行評議案例材料作為主要的評價方法。
2.德國:州級自主評價
德國高校科研評價主要體現(xiàn)了州級自主、靈活調(diào)整的特征,在地方級評價組織和分類評價方法方面對我國有借鑒意義。德國的高??蒲性u價工作由政府機(jī)構(gòu)和第三方組織(德國科學(xué)委員會、德國研究協(xié)會、大學(xué)發(fā)展中心、洪堡基金會等)共同推進(jìn),并遴選同行專家成立具有學(xué)科特色的專家委員會。專家委員會從各學(xué)科的科研績效出發(fā),設(shè)置相應(yīng)的評價指標(biāo)體系。評價范圍涉及整個高等教育系統(tǒng),包括大學(xué)、研究機(jī)構(gòu)、研究協(xié)會等。評價的主要目的是為高校和研究機(jī)構(gòu)的研究質(zhì)量提升提供支持和保障,并促進(jìn)良性競爭。評價的結(jié)果不直接影響經(jīng)費分配,但會作為聯(lián)邦政府和州政府資助活動的參考指標(biāo)。德國在國家層面制定了主要的評價標(biāo)準(zhǔn)、評價方法及評價程序,但沒有國家統(tǒng)一組織的全國高校科研評價,相關(guān)的評價工作主要由各州政府或高校獨立組織,具體實施細(xì)節(jié)可由各州靈活調(diào)整。在最新一輪的評價文件中,德國正式將國際同行評議和分類評價納入高??蒲性u價體系中。
具體而言,德國科學(xué)人文委員會(German Council of Science and Humanities)基于國內(nèi)外前沿評價方法制定評級標(biāo)準(zhǔn),要求綜合同行評議、定量數(shù)據(jù)和背景信息的方法進(jìn)行評價。評估的主要維度包括研究的質(zhì)量、社會關(guān)切度及有效實用性。在評價程序上,評價活動由指導(dǎo)小組和評估小組共同推進(jìn)。指導(dǎo)小組負(fù)責(zé)領(lǐng)導(dǎo)管理整體的評價流程,評估小組負(fù)責(zé)詳細(xì)說明評價的標(biāo)準(zhǔn),并與指導(dǎo)小組協(xié)商確定評價量表,各項標(biāo)準(zhǔn)將由同行評議數(shù)據(jù)或定量數(shù)據(jù)進(jìn)行支撐。德國州級的高校評價在不同州之間存在較大差異,具有代表性的是薩克森大學(xué)學(xué)術(shù)顧問委員會(Wissenschaftliche Kommission Niedersachsen,WKN)實施的對該地區(qū)高??蒲械南到y(tǒng)評估。薩克森大學(xué)學(xué)術(shù)顧問委員會是獨立的評價專家委員會,負(fù)責(zé)組織實施評價,評價結(jié)果將同時提交給評價對象和州政府。此外,薩克森大學(xué)學(xué)術(shù)顧問委員會還為評價對象提供未來發(fā)展建議。德國評價實踐最突出的特點是州級獨立性,各州在服從整體評價流程的基礎(chǔ)上有靈活調(diào)整的權(quán)利,例如以工業(yè)作為支柱產(chǎn)業(yè)的州可以在評價中偏重科研產(chǎn)出的工業(yè)轉(zhuǎn)化率。這一特色使評價實踐更符合本州特色,體現(xiàn)了科學(xué)研究對社會需求的呼應(yīng)。
3.法國:內(nèi)外部結(jié)合評價模式
法國高??蒲性u價的突出特點是強(qiáng)調(diào)高校自主性,重視大學(xué)內(nèi)部評價。法國高??蒲性u價主要由獨立的公共機(jī)構(gòu)高等教育研究評估高級委員會(Agence d’évaluation de la recherche et de l enseignement supérieur)推動。法國高等教育體制的特點是多種類型的機(jī)構(gòu)并存,包括大學(xué)、公共機(jī)構(gòu)、行政事業(yè)單位、私立高等教育機(jī)構(gòu)等。因此,高等教育科研評估方案中也涉及多種類別機(jī)構(gòu)的評估工作。法國高等教育評價不僅依賴外部評估,同時注重內(nèi)部評估。根據(jù)高校自主原則,高等教育質(zhì)量管理的第一責(zé)任落在大學(xué)(或研究機(jī)構(gòu))本身,大學(xué)(或研究機(jī)構(gòu))內(nèi)部評估是法國高等教育質(zhì)量框架的基礎(chǔ)。在法國高等教育研究評估高級委員會的指導(dǎo)和敦促下,各高等教育機(jī)構(gòu)參照其所在區(qū)域的評價文件(如Livre des références,LDR)啟動內(nèi)部評估程序,將評估結(jié)果公開。在進(jìn)行外部評價時,委員會將法國劃分為5個主要區(qū)域,每年只針對性地評價一個區(qū)域內(nèi)的高校。5個區(qū)域都有其特定的評價標(biāo)準(zhǔn),所有區(qū)域評價一輪的周期為5年。2021年11月,法國高等教育研究評估高級委員會提出了2022—2023年評價改革的指導(dǎo)方針:將為評估對象提供更科學(xué)有效的指標(biāo)、管理工具、評價體系及培訓(xùn)課程,以簡化評估流程,提高效率。
法國高??蒲性u價更好地發(fā)揮了高校的自主性,采取了內(nèi)外部結(jié)合的評價方式。作為被評價對象的高校得以對自身科研情況、具有的優(yōu)勢及存在的劣勢有更為深入的了解,自我評價能更好地反映被評高校的情況,為外部同行評議提供信息支撐。將自我評價融入評價系統(tǒng)也是未來我國科研評價改革的方向之一。
4.意大利:分類評價方法
意大利的高??蒲性u價注重學(xué)科分類評價思想和代表作評價方法,與我國目前的評價改革導(dǎo)向不謀而合。意大利為適應(yīng)國家高等教育經(jīng)費制度改革,于21世紀(jì)初在全國范圍內(nèi)開展的科研評價改革。2011年,意大利國家高校及科研機(jī)構(gòu)評估署(Agenzia nazionale di valutazione del sistema universitario e della ricercar,ANVUR)正式開展全國性的科研質(zhì)量評價(Valutazione della Qualitàdella Ricerca,VQR)。這一評價體系是由3年期科研評估(Valutazione triennale della ricerca,VTR)變革而來,每4年一個周期,其評價范圍很廣,對象包括全國范圍內(nèi)的大學(xué)、研究機(jī)構(gòu)及其所屬部門、從事研究活動的其他私人機(jī)構(gòu)等。該評價體系的主要特點是采用代表作制度,評價結(jié)果直接影響高校經(jīng)費分配。同時意大利全國性的科研質(zhì)量評價還十分注重分類評價思想,根據(jù)學(xué)科領(lǐng)域的不同特色,采取不同的評價方法,進(jìn)而分配同行評議與定量指標(biāo)所占的比重,進(jìn)行有針對性的評價。意大利根據(jù)不同學(xué)科特色,采用結(jié)合定性與定量的復(fù)合評價方法開展評價,這一實踐可為我國開展高校學(xué)科分類評價提供借鑒。
5.荷蘭:診斷性評價模式
荷蘭高??蒲性u價以《戰(zhàn)略評估協(xié)議》(Strategy Evaluation Protocol,SEP)聞名,SEP也是診斷性評價模式的先驅(qū)。荷蘭每6年組織一次全國科研評價,評價對象包括荷蘭的大學(xué)和科研機(jī)構(gòu)。荷蘭的國家科研評價體系與科研經(jīng)費分配體系各自獨立運行,科研評價的目的主要在于分析優(yōu)勢劣勢、診斷問題、提出建議,最終達(dá)到提升科研質(zhì)量的目的,評價結(jié)果并不對科研經(jīng)費分配體系產(chǎn)生直接影響。荷蘭公共知識機(jī)構(gòu)于2019年11月發(fā)布《為每個人的才能創(chuàng)造空間》(Make Room for Everyone’s Talent)倡議。在此倡議的推動下,2021年9月荷蘭政府組織國內(nèi)外專家研究制定了新的《戰(zhàn)略評估協(xié)議》,新的評價方案著重強(qiáng)調(diào)了社會關(guān)切度、研究質(zhì)量及可行性。荷蘭政府要求研究機(jī)構(gòu)通過提交自我評估文件以及實地考察兩種方式對以下4個維度進(jìn)行評價:質(zhì)量、科研產(chǎn)出、社會關(guān)切度、活力與可行性。除此之外,荷蘭還會評價科研成果的社會價值、社會影響及社會應(yīng)用性,并對高校進(jìn)行SWOT分析,給出相應(yīng)建議。荷蘭戰(zhàn)略評估協(xié)議以同行評價和自我評價為主,其評估結(jié)果和政府撥款之間沒有直接的聯(lián)系,但教育部會基于該評價結(jié)果對科研業(yè)績較差的單位進(jìn)行警告,督促其整改。荷蘭評價體系中的診斷性評價模式在歐洲廣受好評,具有一定的借鑒意義。與總結(jié)性評價相比,診斷性評價更側(cè)重于對未來發(fā)展的建議,能更好地反映以“評”促“建”的評價初衷。
6.挪威:國家級科研信息系統(tǒng)
北歐國家在全球創(chuàng)新排名中名列前茅,且十分重視高校的科研競爭力,自20世紀(jì)90年代以來便實施了一系列卓越計劃以提高北歐整體科研水平。在北歐國家中,挪威的高??蒲性u價體系頗具特色,在北歐乃至歐洲都具有比較廣泛的影響力。挪威教育質(zhì)量保障機(jī)構(gòu)是挪威教育研究部下屬的獨立專家機(jī)構(gòu),致力于促進(jìn)挪威高等教育(包含高等職業(yè)教育和外國同等學(xué)歷教育)的發(fā)展,是開展高校評估及發(fā)布評估報告的主要組織機(jī)構(gòu)。
挪威高校的科研評價和經(jīng)費分配分屬兩個系統(tǒng),這兩個系統(tǒng)彼此獨立、互不影響。在挪威,高??蒲性u價是全國科研評價的組成部分,全國性科研評價文件由挪威研究委員會產(chǎn)生,主要側(cè)重于獲取有關(guān)被評大學(xué)或機(jī)構(gòu)績效及其影響因素的信息,幫助評價對象不斷提升科研表現(xiàn)、擴(kuò)大學(xué)術(shù)及社會影響,屬于典型的診斷性評價。在高校的經(jīng)費分配方面,挪威自2005年起正式采用基于科學(xué)計量指標(biāo)的科研經(jīng)費分配方案,是最早開拓和應(yīng)用科學(xué)計量指標(biāo)進(jìn)行經(jīng)費分配的國家之一。挪威具體的科研經(jīng)費分配規(guī)則和指標(biāo)體系通常被稱為“挪威模型”,這一模型被芬蘭、丹麥、比利時等多個歐洲國家推廣和應(yīng)用。挪威模型具體分為三個組成部分:綜合全面的國家科研信息系統(tǒng)作為數(shù)據(jù)來源,具有不同權(quán)重的科學(xué)計量指標(biāo)對科研成果計分,計量結(jié)果納入國家科研經(jīng)費分配體系。除此之外,挪威還設(shè)立了“卓越中心計劃”,以支持具有國際水平的長期研究。挪威高校評價的突出特色是建立了國家級科研信息系統(tǒng),實現(xiàn)了多源且多元的信息整合與共享,適用于各層次的機(jī)構(gòu)評價與個人評價,為學(xué)術(shù)評價的順利推行提供了科研數(shù)據(jù)基礎(chǔ)。
(二)對比分析
高??蒲性u價改革在全球范圍內(nèi)備受關(guān)注,許多問題具有明顯的國際共性。因此,追蹤代表性國家高??蒲性u價改革的新舉措,對我國借鑒國際經(jīng)驗、落實科研評價改革政策具有積極意義。上文主要從評價目的、推動主體、評價方法等方面對英國、德國、法國、意大利、荷蘭、挪威6個國家的高??蒲性u價實踐情況進(jìn)行梳理分析。為更加直觀地展示各國的評價體系,筆者將對各國評價實踐進(jìn)行比較。
各國的評價體系各具特色。其中,德國和法國允許各州/區(qū)域根據(jù)本地情況對評價指標(biāo)等進(jìn)行調(diào)整,在評價體系設(shè)置上體現(xiàn)出更多的靈活自主性;其余各國均采取全國統(tǒng)一的評價體系。在評價目的上,各國均以提高本國的科研水平為目標(biāo),其中法國、挪威和荷蘭更加強(qiáng)調(diào)診斷性評價。在推動主體方面,各國大多由國家機(jī)構(gòu)下設(shè)的相關(guān)部門進(jìn)行推進(jìn)。評價周期的長短在評價活動中也是重要的維度,過短的評價周期容易使被評對象出現(xiàn)結(jié)果導(dǎo)向的短視行為,所以評價周期從4年到7年不等。在評價結(jié)果的應(yīng)用層面,各國有顯著差異,德國、法國、荷蘭和挪威的評價結(jié)果更多服務(wù)于高校的建設(shè)與發(fā)展,不影響高校資助經(jīng)費的分配,而英國65%的經(jīng)費與評價結(jié)果掛鉤,意大利的評價結(jié)果會直接影響高校經(jīng)費分配。在評價方法方面,代表作評價被廣泛應(yīng)用,同時內(nèi)部評價與定量指標(biāo)也常常作為支撐信息,或直接作為評價體系的一個指標(biāo)維度。
03
國外高校科研評價的主要特征
鑒于國外高??蒲性u價各具特色,這一部分以我國科研評價改革政策文件中梳理歸納出的重點問題為線索,主要聚焦于多元評價、影響力評價、代表作評價、分類評價、定量與定性相結(jié)合評價等幾個問題,對國外高校科研評價的主要特征進(jìn)行綜合分析。
(一)兼顧多元評價主體
評價主體是指評價活動的實施者,不同的評價主體具有不同的學(xué)術(shù)背景和認(rèn)知能力,在評價過程中也具有不同的傾向性。根據(jù)評價目的,吸納多元主體參與到評價過程中有利于評價結(jié)果的合理有效性。從國際實踐看,英國政府注重多元評價,具體體現(xiàn)在利益多元和主體多元兩方面:利益多元是指評價體系中涉及科學(xué)研究、人才培養(yǎng)、社會服務(wù)等多方利益;主體多元是指在評價過程中多方主體參與對多方利益的協(xié)調(diào)。英國卓越研究框架專家小組成員由英格蘭研究院(Research England)、蘇格蘭資助委員會(Scottish Funding Council)、威爾士高等教育資助委員會(Higher Education Funding Council for Wales)、北愛爾蘭經(jīng)濟(jì)部(Department for the Economy,Northern Ireland)4個資助機(jī)構(gòu)任命,體現(xiàn)了多元主體的評價理念。另外,評價過程還要接受政府、學(xué)校、學(xué)會組織及4個高等教育資助機(jī)構(gòu)等多方代表組成的指導(dǎo)小組的指導(dǎo)與監(jiān)管。與此同時,來自全球各地、具有不同專業(yè)知識背景的專家組成國際顧問團(tuán),為評價工作提供建議,這更進(jìn)一步顯示了評價主體的多元化特征。
?。ǘ┘?xì)化影響力評價指標(biāo)
影響力作為科研質(zhì)量的相關(guān)指標(biāo)之一,逐漸被納入各國高??蒲性u價體系,并進(jìn)一步細(xì)分為學(xué)術(shù)影響力和社會影響力等維度。在學(xué)術(shù)影響力方面,需考慮到不同指標(biāo)的適用范圍,謹(jǐn)慎使用期刊影響因子、論文被引頻次等定量指標(biāo)作為學(xué)術(shù)影響力的度量標(biāo)準(zhǔn),并在使用時考慮到計量評價方法的適用范圍和局限性。而社會影響力主要是指科學(xué)研究對經(jīng)濟(jì)、社會、文化、公共政策服務(wù)、健康、生活環(huán)境質(zhì)量等學(xué)術(shù)之外的領(lǐng)域所帶來的影響和改變。有學(xué)者提出將Altmetrics指標(biāo)、內(nèi)容分析法、社會網(wǎng)絡(luò)分析法等指標(biāo)或方法應(yīng)用于社會影響力的評價。但以上方法是否能夠有效表征社會影響力還有待進(jìn)一步考證,因此筆者以最早將社會影響力引入評價體系的英國卓越研究框架為例,對其實踐情況進(jìn)行歸納與分析。
英國卓越研究框架是最早將科學(xué)研究的“社會影響”正式納入高校評價體系的國家。這里的社會影響力評價從“廣度”(reach)和“意義”(significance)兩個方面進(jìn)行,強(qiáng)調(diào)科研在文化、經(jīng)濟(jì)、環(huán)境、教育、政策制定、公共服務(wù)等各個方面造成的影響,并由專家對高校提交的社會影響力評價支撐案例進(jìn)行同行評議。卓越研究框架評價體系中案例研究與同行評議相結(jié)合的方法值得借鑒。由高校提供社會影響力評價的支撐案例既發(fā)揮了高校的主體地位,也能使各個類型、不同特色的高校保持差異。相關(guān)領(lǐng)域的專家進(jìn)行定性評價能夠更好地說明該案例的重要性與有效性,從而實現(xiàn)對高??蒲猩鐣绊懥Φ目茖W(xué)評價。此外,在影響力評價方面,還需合理結(jié)合自我評價和外部評價:一方面需要由高校自主匯總評價相關(guān)的案例資料,體現(xiàn)高校在評價中的主體地位和辦學(xué)特色;另一方面需要通過同行評議等外部評價方法提高評價水平,確保評價質(zhì)量。
?。ㄈ┩菩写碜髟u價方法
代表作是指能夠體現(xiàn)和衡量科研人員學(xué)術(shù)水平的代表性成果,針對在國內(nèi)引發(fā)廣泛討論的代表作評價制度,筆者選取英國與意大利作為主要案例進(jìn)行比較分析。英國卓越研究框架與意大利全國性科研質(zhì)量評價在高??蒲性u價中都實行了代表作評價制度,但出于不同的評價目的,英、意兩國在推行該制度時有不同的實踐,大體包括針對部分的代表作評價和針對整體的代表作評價兩種做法。具體而言,英國卓越研究框架在材料提交階段要求每個高校公開選擇研究人員,被選擇的每位科研人員需提供4項代表性科研成果,成果形式包含著作、論文、書中章節(jié)、工作報告、會議論文、教材、設(shè)計與展品、媒體作品等。成果評價主要采用專家評價,同時參考Scopus引文數(shù)據(jù)庫的文獻(xiàn)計量數(shù)據(jù)作為背景信息??紤]到文獻(xiàn)引用數(shù)據(jù)會因論文發(fā)表時間、學(xué)科背景、負(fù)面引用、出版語言等因素而存在差異,這一指標(biāo)只作參考。與英國以科研機(jī)構(gòu)為單位提交代表作的形式不同,意大利全國性科研質(zhì)量評價采用的代表作評價制度以科研人員為提交單位,要求大學(xué)或研究機(jī)構(gòu)中每位科研人員均提供兩項代表性科研成果用于評價,提交成果包括專著、期刊論文、會議論文、建筑項目、設(shè)計作品、表演、影音資料、心理測試等多種形式。
在破除“唯論文”科研評價改革的當(dāng)下,英國和意大利兩個評價體系針對不同學(xué)科的特點而豐富科研成果提交形式的做法值得學(xué)習(xí)借鑒。需要指出的是,英國與意大利科研評價過程中采取的兩種代表作模式各有利弊,不同模式背后是科研評價目的的考量:英國卓越研究框架更加鼓勵少數(shù)精英科研人員的發(fā)展,因此僅需要機(jī)構(gòu)層面提供代表作;而意大利全國性科研質(zhì)量評價則鼓勵全體科研人員共同進(jìn)步,需要對每一位科研人員的代表作都進(jìn)行評價。對我國而言,代表作評價模式的選擇應(yīng)考慮到評價場景、評價目的、評價時間的緊迫性及資金預(yù)算等多種因素。
(四)實行學(xué)科分類評價
由于不同學(xué)科在科研產(chǎn)出、科研影響、發(fā)展模式等諸多方面都存在差異,“一把尺子量到底”的評價模式無法適應(yīng)多樣的學(xué)科類型,筆者將對意大利和德國在學(xué)科分類評價中的具體做法進(jìn)行梳理比較與參考借鑒。
意大利全國性科研質(zhì)量評價注重分類評價,主要根據(jù)學(xué)科領(lǐng)域特點選擇評價方法,將評估對象劃分為16個學(xué)科領(lǐng)域,并為每個學(xué)科領(lǐng)域組建評價專家小組,評價專家包括本學(xué)科小組專家和外國評審專家。然后,將16個學(xué)科進(jìn)一步劃分為科學(xué)、技術(shù)、工程與數(shù)學(xué)(Science,Technology,Engineering,Mathematics,STEM),人文與社會科學(xué)(Humanities and Social Sciences,HSS)和經(jīng)濟(jì)學(xué)(Economics)三個領(lǐng)域,并對這三個領(lǐng)域采用差異化評價方法及指標(biāo)進(jìn)行評價。例如,人文與社會科學(xué)領(lǐng)域只采用“知情同行評議”(Informed Peer Review)的方式,但科學(xué)、技術(shù)、工程與數(shù)學(xué)領(lǐng)域以及經(jīng)濟(jì)學(xué)領(lǐng)域采用的則是知情同行評議和文獻(xiàn)計量相結(jié)合的評價方法,科研產(chǎn)出的文獻(xiàn)計量學(xué)指標(biāo)也對最終評價結(jié)果產(chǎn)生影響(文獻(xiàn)計量指標(biāo)所占比重依具體學(xué)科而定)。此外,不同學(xué)科領(lǐng)域評價的外國專家占比也有所區(qū)別,法律專業(yè)外國專家占比最低,僅為3%;而工程專業(yè)占比最高,達(dá)到了68%。
2000年至2008年,德國薩克森大學(xué)學(xué)術(shù)顧問委員會對高校所有學(xué)科進(jìn)行評價,并在初步評價后的第三或第四年對評價建議的執(zhí)行情況再次進(jìn)行評估。從2015年開始,薩克森大學(xué)學(xué)術(shù)顧問委員會不再定期評估所有學(xué)科,而是采用需求驅(qū)動的方法,主要關(guān)注特定學(xué)科。評審專家組依據(jù)不同的學(xué)科特點確定評價的標(biāo)準(zhǔn)及實施方法。按照國家級評估標(biāo)準(zhǔn)程序的要求,高校需提交自我評價報告,并由專家組進(jìn)行實地考察,給出最終評價結(jié)果。
意大利和德國分別從不同側(cè)面為我國高??蒲性u價中的學(xué)科分類評價實踐提供了借鑒。意大利全國性科研質(zhì)量評價將不同學(xué)科劃分到學(xué)科大類中,按照學(xué)科大類的特點設(shè)置專家比例及評審方式。德國薩克森大學(xué)學(xué)術(shù)顧問委員會則將對全部學(xué)科的評價轉(zhuǎn)化為對有特殊需求的特定學(xué)科的評價,體現(xiàn)了科研評價與需求的結(jié)合。
?。ㄎ澹┒吭u價與定性評價相結(jié)合
定性方法與定量方法各有優(yōu)劣,互為補充。有關(guān)定性方法與定量方法的討論在很多論文中均有涉及,筆者將以在評價中最常用到的同行評議與科學(xué)計量分別作為定性方法與定量方法的代表展開討論。
同行評議作為定性評價的典型方法,主要通過同行專家對科研成果的規(guī)范性、科學(xué)性和創(chuàng)新性進(jìn)行評價,兼具專業(yè)性和科學(xué)性的優(yōu)點,但同時同行評議過程中也會因出現(xiàn)新興領(lǐng)域或交叉學(xué)科成果難以找到完全合適的評審專家、難以避免人情問題及利益沖突等問題,因而更適用于微觀層級評價實踐??茖W(xué)計量作為定量方法的代表,以客觀數(shù)據(jù)作為基礎(chǔ),探尋科學(xué)活動的內(nèi)在規(guī)律和特征,并在不斷發(fā)展的過程中逐漸承擔(dān)起科研評價的功能。由于科學(xué)計量方法評價結(jié)果來自對客觀數(shù)據(jù)的定量表示,天然具有客觀性和真實性,因而更適用于宏觀層級評價實踐。
在國際實踐中,英國主要采用定量數(shù)據(jù)支撐的定性評價。在材料提交階段,高校在提供產(chǎn)出信息的同時,也提供引文數(shù)據(jù)作為支撐同行評議的背景信息。專家將根據(jù)學(xué)科差異來選擇是否使用定量數(shù)據(jù)以及如何使用定量數(shù)據(jù)。對于需要使用定量數(shù)據(jù)的學(xué)科,一般是通過相關(guān)引文數(shù)據(jù)庫獲取標(biāo)準(zhǔn)化后的引文數(shù)據(jù),為專家評價提供參考并保證評價過程的客觀透明。德國的科研評價體系綜合了同行評議、定量數(shù)據(jù)和背景信息,評估的主要標(biāo)準(zhǔn)包括研究成果的質(zhì)量、社會關(guān)切度及有效實用性。德國在高??蒲性u價過程中會采用一些定量指標(biāo),但主要評價工作仍由同行評議完成。除此之外,德國有專門的權(quán)威機(jī)構(gòu)制定相對完善的輔助性說明,幫助評價專家了解不同定量指標(biāo)的優(yōu)劣及其適用范圍,為定性評議提供支撐。在挪威,科學(xué)計量和同行評議兩種方法有機(jī)結(jié)合在一起,學(xué)科領(lǐng)域?qū)<覅⑴c到具體指標(biāo)的權(quán)重設(shè)計和高級別出版物的認(rèn)定等關(guān)鍵環(huán)節(jié)。荷蘭則主要采用同行評議方法,以科學(xué)計量的數(shù)據(jù)和指標(biāo)為同行評議專家提供必要的信息參考,但最終的評價結(jié)果由同行評議專家決定。意大利主要采用知情同行評議和文獻(xiàn)計量兩種方法,根據(jù)學(xué)科領(lǐng)域不同,采取的方法有所側(cè)重。評價小組利用外部評審專家、評價指標(biāo)等所有可用信息,通過知情同行評議決定分?jǐn)?shù),最終得分均由評價小組負(fù)責(zé)。如果專家評價結(jié)果與文獻(xiàn)計量結(jié)果存在較大偏差,則需要給出充足的理由,最終結(jié)果由評價小組主席審查決定。
綜合以上國際實踐,定量評價與定性評價相結(jié)合,可以對高??蒲性u價過程起到支撐和規(guī)范作用,從而優(yōu)化評價流程,節(jié)省評價時間,達(dá)到更好的評價效果。在具體的國外應(yīng)用場景中,科學(xué)計量和同行評議在高??蒲性u價的前期、中期和后期發(fā)揮著不同的作用:前期可使用科學(xué)計量方法進(jìn)行數(shù)據(jù)調(diào)研,掌握不同學(xué)科的科研人員發(fā)展、成果產(chǎn)出與影響擴(kuò)散的特點和規(guī)律,并以此為依據(jù)對評價體系進(jìn)行科學(xué)調(diào)整;中期可以將科學(xué)計量方法與同行評議有機(jī)結(jié)合——同行評議方法作為科研質(zhì)量評價的主要手段,科學(xué)計量提供輔助篩選及信息支撐,以減輕同行評議專家的負(fù)擔(dān);后期可以通過科學(xué)計量指標(biāo)對整個評審結(jié)果進(jìn)行審核、復(fù)盤與反饋。
04
從國際經(jīng)驗到中國啟示
隨著我國一系列評價改革政策的出臺,各地高校紛紛響應(yīng),對相關(guān)評價與管理規(guī)定進(jìn)行改革與調(diào)整。但高校評價改革的實踐仍未打通政策落地的“最后一公里”。在破除“唯論文”的政策背景下,科研管理與評價工作者對“不能以論文、學(xué)歷、職稱、獎項等作為評價的唯一指標(biāo)”這一認(rèn)識是清晰的,但如何更加科學(xué)地完善科研評價體系,如何對科研成果的質(zhì)量、績效、貢獻(xiàn)進(jìn)行全面準(zhǔn)確的評價仍缺乏清晰、統(tǒng)一的認(rèn)知。本文通過梳理部分國家高??蒲性u價的國際經(jīng)驗,從評價主體、評價方法、數(shù)據(jù)支撐等多個角度對各國特色進(jìn)行歸納總結(jié)與對比分析,并結(jié)合我國評價改革政策導(dǎo)向,提出倡導(dǎo)診斷性評價、分類評價和多元評價,注重定量方法與定性方法相結(jié)合的科學(xué)有效性,進(jìn)而提出建立國家級科研評價信息系統(tǒng)并注重評價結(jié)果的應(yīng)用反饋和系統(tǒng)優(yōu)化等建議。
第一,根據(jù)不同評價目的設(shè)計對應(yīng)評價機(jī)制,倡導(dǎo)診斷性評價。高??蒲性u價具有不同的目的和功能,需依據(jù)不同的評價目的,確定適合的評價主體(中央政府、地方政府、高?;虻谌姜毩C(jī)構(gòu)等)及評價對象(代表作的選取范圍、數(shù)量、遴選標(biāo)準(zhǔn)等),進(jìn)而設(shè)計與之相匹配的評價邏輯和評價機(jī)制。此外,我國高校目前的科研評價模式更偏重于總結(jié)性評價,即關(guān)注過去表現(xiàn),檢驗成果是否達(dá)到目標(biāo)或期望,評價的結(jié)果為統(tǒng)計、決策或資源分配服務(wù)。而診斷性評價則通過調(diào)查等形式列舉高校內(nèi)部具有的優(yōu)勢、存在的劣勢以及外部的機(jī)會和威脅,注重為各層次的評價對象提供有益建議,從而為高校的戰(zhàn)略發(fā)展服務(wù)。診斷性評價已被德國、荷蘭、挪威等多國作為主要的評價模式,由總結(jié)性評價向診斷性評價轉(zhuǎn)變是當(dāng)前中國高校科研評價改革可參考的轉(zhuǎn)型模式之一。
第二,倡導(dǎo)分類評價和多元評價模式。破除原有的“五唯”評價標(biāo)準(zhǔn)后,需要倡導(dǎo)分類評價并建立多元評價模式。對不同類型、不同區(qū)域和處于不同發(fā)展階段的高校明確分類評價原則,不能設(shè)置“一刀切”的評價標(biāo)準(zhǔn)。在評價指標(biāo)體系的設(shè)置與評價方法的選擇方面,也需要充分考慮不同學(xué)科領(lǐng)域的科研模式與發(fā)文特征,進(jìn)行差異化處理。同時高??蒲性u價應(yīng)更加科學(xué)地引導(dǎo)高校多元發(fā)展,注重平衡多元利益主體關(guān)系,考慮引入多元主體參與評價過程,推動大學(xué)與政府、企業(yè)、社會的深度合作,重視科學(xué)研究對經(jīng)濟(jì)和社會發(fā)展的影響與貢獻(xiàn),豐富影響力評價的維度,更加有效地滿足社會多元利益需求。
第三,注重定量方法與定性方法相結(jié)合的科學(xué)有效性。在高校科研評價的實踐過程中,要依據(jù)不同評價場景,探索適合的科學(xué)計量與同行評議相結(jié)合的路徑。當(dāng)面對不同層級的評價對象時,國際學(xué)界的普遍共識為:越偏向宏觀層級的評價對象,計量評價的可靠性越高,權(quán)重越大;越偏向微觀層級的評價對象,同行評議方法的可靠性越高,權(quán)重越大;在中觀層級,例如當(dāng)評價對象為大學(xué)和研究機(jī)構(gòu)時,計量評價和同行評議的結(jié)合是最科學(xué)有效的方法。此外,還需要合理使用科學(xué)計量指標(biāo),充分發(fā)揮其優(yōu)勢作用。在實踐中,使定量指標(biāo)更好地支撐評價需要“計量智慧”(Metric-wiseness),未來可以進(jìn)一步深入探索“基于充分信息支撐的同行評議”和“基于專家研判的計量方法設(shè)計”這兩種深度融合模式,真正實現(xiàn)計量方法精準(zhǔn)高效性和同行評議專業(yè)診斷性的有效結(jié)合。
第四,建立國家級科研評價信息系統(tǒng),為評價活動提供可靠全面的高質(zhì)量信息支撐。以挪威為代表的國家級科研信息系統(tǒng)為我國提供了可借鑒的豐富實踐經(jīng)驗。首先,國家級科研信息系統(tǒng)可以為同行專家提供全面豐富的信息支撐,幫助專家在相對有限的時間內(nèi)做出科學(xué)有效的判斷。其次,國家級科研信息系統(tǒng)可以減輕評價對象負(fù)擔(dān)。在評價工作開展時,僅需根據(jù)具體評價目的,從系統(tǒng)中查找抽取相關(guān)數(shù)據(jù)信息,不需要反復(fù)填寫、上報、審核,減少高校教職員工及管理部門在提交、審核評價材料方面花費的時間精力。同時,有利于形成動態(tài)監(jiān)測與反饋機(jī)制,引導(dǎo)周期性評價向常態(tài)化監(jiān)測過渡。再次,服務(wù)多元對象和場景。全面豐富的科研信息系統(tǒng)不僅可以服務(wù)于政府組織的評價工作,還可以解決各個高校的“信息孤島”問題,幫助各高校集成和共享高質(zhì)量的信息,促進(jìn)科學(xué)的戰(zhàn)略規(guī)劃、內(nèi)部診斷和外部交流合作,為實現(xiàn)系統(tǒng)性以評促建打好基礎(chǔ)。
第五,注重評價結(jié)果的應(yīng)用和反思,真正實現(xiàn)以評促建。高??蒲性u價是一個系統(tǒng)性、長期性和耗費大量人力物力的工作,如何更科學(xué)有效地應(yīng)用評價結(jié)果,使評價結(jié)果不僅僅是提供“一紙榜單”和支撐資源分配,而是能更有效地服務(wù)于多元利益主體,實現(xiàn)評價效能的最大化,是當(dāng)前需要解決的重要問題。建議綜合考慮評價結(jié)果對中央政府、地方政府、高等學(xué)校、社會組織和企業(yè)、教師與學(xué)生等多元主體的“有用性”,尤其注重高校自身通過評價獲得的真正收益和成長提升,促使高校從被動接受評價到主動積極參與評價的轉(zhuǎn)型,真正實現(xiàn)以評促建。
第六,應(yīng)注意到高校評價所具有的復(fù)雜性特征,發(fā)展科研只是高校眾多職能中的一部分,除此之外,高校職能還包括培養(yǎng)人才、服務(wù)社會等等。因此,在注重高校科研評價的同時,也應(yīng)保證高校各職能間的平衡,不能以偏概全,過分夸大發(fā)展科學(xué)職能而輕視人才培養(yǎng)職能,從而在整體高校評價中對科研評價設(shè)置合理的比重。
原文刊載于《世界社會科學(xué)》2023年第3期,原題為《破除“唯論文”后的科研評價改革探索——國外高??蒲性u價的實踐與啟示》。
原標(biāo)題:Deepseek 好用嗎?深圳師生感嘆:很好很強(qiáng)大! 近段時間以來,深圳不
快資訊2025-02-10 18:46:49
原標(biāo)題:丘成桐任院長!知名大學(xué),成立新學(xué)院! 2月6日,香港中文大學(xué)宣布正
快資訊2025-02-08 10:16:38
原標(biāo)題:驚爆!上海某國際高中疑遭全美高校拉黑! 學(xué)術(shù)造假風(fēng)波,一波未平
快資訊2025-02-07 20:00:58
原標(biāo)題:成都6名學(xué)生收到劍橋offer,大部分是理工學(xué)科 1月30日,劍橋大學(xué)放榜
快資訊2025-02-06 19:29:07
原標(biāo)題:全國首家!985大學(xué),成立新學(xué)院! 1月22日 ,西安交通大學(xué)技術(shù)經(jīng)理人
快資訊2025-01-24 19:17:19
原標(biāo)題:TikTok難民和中美大對賬,最令人擔(dān)憂的部分 上周的社交媒體迎來了久
快資訊2025-01-20 19:58:42
原標(biāo)題:廣州多所學(xué)校沒有課上但不放假?上學(xué)也不能只為了考試 寒假即將到
快資訊2025-01-18 19:34:44