职场文秘网

首页 > 心得体会 > 学习材料 / 正文

从小学科同行到跨学科同行*——跨学科场景下的同行评议制度改进策略

2023-05-07 20:35:14

刘启政 李娜 吴新年

(1. 中国科学院西北生态环境资源研究院,兰州 730000;
2. 中国科学院大学经济与管理学院,北京 100049)

20世纪中叶,跨学科研究在全球掀起了一股学术浪潮。跨学科和学科交叉具有集分化与综合为一体的特点[1],契合了现代科学发展的进程,成为科学发展过程中的重要趋势。同行评议以学科分类为基础,提倡由某一研究领域内的专家同行对其所在领域内的研究活动进行评价。同行评议具有很强的专业性,成为科技评价实践中最主要的方法。但是在当前跨学科迅猛发展的趋势下,学科界限逐渐模糊,传统的单学科研究评价模式受到极大冲击,这使得同行评议在实践中举步维艰,难以保证科技评价的有效性[2]。

目前,同行评议被认为存在专家遴选方式落后、评审标准欠缺规范、评审方式较为传统、监督机制尚未规范以及异议机制尚不健全等一系列问题[3],以至于其不能很好地胜任跨学科研究评价工作。近年来,一些学者提倡用定量评价辅助同行评议,甚至让定量评价在科技评价中扮演更重要的角色,以解决跨学科趋势下科技评价实践中产生的问题[4-6]。但是,这也在一定程度上造成“重数量、轻质量”的局面[7]。不可否认的是,站在学术性和专业性角度,目前没有任何一种评价方法优于同行评议法[8]。

英国的科研卓越框架(Research Excellence Framework,REF)主要采用同行评议方法,定期对英国本土的高校、科研机构进行评估。REF是目前世界范围内领先的科技评价体系,在跨学科研究评价方面具有许多先进经验[9]。因此,本文通过讨论现阶段跨学科研究评价中同行评议存在的问题及成因,对照REF 2021中为应对跨学科趋势而采取的措施,提出在跨学科评价中,应当从合理设置参评学科体系、强调评议专家的跨学科素养以及使用定量方法作为辅助等方面入手,对同行评议进行改进,同时为完善科技评价体系提供参考和借鉴。

跨学科研究是团队或个人开展研究的一种模式,主要特点是把来自两个以上的学科或者专业知识团体的信息、数据、方法、工具、观点、概念和理论统合起来,从根本上加深理解或解决超出单一学科范围或研究实践领域的问题[10]。跨学科研究的内在动力在于学科存在边界,使得单一学科在应对复杂科学问题时显得捉襟见肘。因此,跨学科研究不是学者的选择,而是科学发展的内在要求。

跨学科研究始于20世纪20年代,“跨学科”一词最早由美国心理学家R. S. Woodworth提出,最初仅用来表示不同学科科学家的合作研究,并没有从学科间关系的层面作出界定。60年代后,跨学科概念引起了学术界的关注,开始广泛出现在学术会议和各类出版物上。各国逐渐出台一系列举措以促进跨学科研究的发展,跨学科研究进入飞速发展的新阶段。据统计,80年代以来,凭借跨学科研究成果获得诺贝尔自然科学奖的获奖者比例超过50%,并且这一比例一直在上升[11]。可以说,跨学科研究已经逐渐成为科学研究的重要手段,“跨学科”思维在科学研究中发挥日益重要的作用。

在跨学科研究蓬勃发展的同时,关于其在科研工作中作用的讨论层出不穷。由于跨学科研究是不同学科知识之间的交融,也是不断适应和吸收新知识的过程,所以从本质上讲,跨学科研究的发展一定有利于科学知识的传播[10]。此外,一些实证研究也证实,一定程度的跨学科协作不仅可以提高科研活动的产出效率,也会使成果本身更易被引用,提高了科技成果的学术影响力[12-13]。但是,站在科研立项与资助申请的角度,科学研究的跨学科程度越高,其获得基金资助的可能性越低[14]。这种现象会使研究人员在面对跨学科研究课题时有所顾虑,从而阻碍了跨学科研究的发展。因此,要提高跨学科研究的产出效率、推动跨学科研究快速发展,就必须要优化创新跨学科研究管理体制、运行机制和评价机制[15]。

2.1 同行评议的内涵与发展

同行评议是指来自某个或某些领域的专家采用统一的评价标准,如采用通信评议、专家小组或委员会评议、现场同行评议等方式,共同对涉及以上领域的研究工作进行评价。

同行评议思想最早被应用于英国的《哲学会刊》(Philosophical Transactions of the Royal Society)[16]。该刊创建于1665年,是世界上第一本科学期刊。只有英国皇家学会的会员才可以投稿,同时该稿件必须经过英国皇家学会的审查才可以在期刊上发表。进入20世纪,科学研究高速发展,科研项目资助申请逐渐规模化、规范化,在这一过程中,同行评议发挥了至关重要的作用。随后,同行评议成为主流的科技评价方法并沿用至今。

郭碧坚等[17]认为,基于科学研究对整个社会的重要作用,同行评议主要具有三方面的积极作用:有利于科学资源的正确分配,从而实现科学子系统与其他社会系统之间的良性循环;
有利于科学荣誉的正确授予,保证科学奖励制度的激励作用;
有利于维护科学家群体的共同利益。

魏巍[18]将同行评议存在的问题归结为三方面:同行评议的主观性可能影响评价公正;
同行评议中部分专家的能力水平不足;
同行评议的众议特点会使评议过程保守,不利于新范式的形成。

尽管同行评议存在以上问题,但它在科技评价中发挥的作用仍是无可替代的。所以时至今日,同行评议一直是最主要的科技评价手段,在项目申请评价,科研成果评价,学位与职称评定,以及个人、团队和机构评价等多个方面发挥了至关重要的作用,并在许多国家和地区的科技评价体系中占据了主导地位。

2.2 跨学科趋势下同行评议的新挑战

在跨学科研究的大趋势下,科学活动的知识生产方式发生了重大转型,研究者通常会关注数个领域的学术热点来开展相关研究[19]。在评价实践中,传统的单一学科同行评价和文献计量方法无法直接用于跨学科研究的评价工作,使得跨学科研究的评价在各大科技评价体系中一度被边缘化。为了应对科学研究中愈加广泛的跨学科趋势,同行评议在评议方式、评议标准和价值取向等方面需要作出改变。

2.2.1 评议方式落后

根据评议方式不同,同行评议主要分为3种,即单盲评审、双盲评审和开放评审。单盲评审中的评审专家可以单方面获取被评成果的一系列信息,双盲评审中的专家和作者之间是双向匿名的,而开放评审中的评价双方都是完全透明的。在这3种主要方法中,对开放评审的探索成为当下学术研究热点,开放评审也被认为是跨学科趋势下同行评议改进的潜在解决方案[20],在学术界广受追捧,但鲜有将其应用于实际评价的案例。在评价实践中,以单盲评审和双盲评审为代表的传统评审方式仍然占据主要地位。新的评审方法得不到应用,就无法使其在实践中逐步成熟。如此一来,对评审方法的探索就陷入了泥潭,这将不利于同行评议现实问题的解决。

2.2.2 评议标准不规范

在跨学科研究的趋势下,同行评议原本就存在的评审标准不统一、载体化和过度量化等问题[3]被进一步放大。评审标准不统一的问题来源于同行评议的主观性特点,评审专家的个体差异使得所有成果的评价尺度无法完全统一。而跨学科趋势可能使得评审专家从原本的同一学科扩张到同类学科乃至跨类学科,具有不同知识背景的评审专家的评审尺度将更加难以统一。载体化问题是科技评价工作中老生常谈的问题,主要表现为简单粗暴的“以刊评文”。Rafols等[21]指出,跨学科研究成果可能更难在某些较高水平的期刊上发表。如此一来,评审标准载体化的问题将更加突出。过度量化则表现为同行评议中过分依赖计量学指标,而减少了对成果本身的关注。

2.2.3 价值取向缺失

随着科学研究的复杂程度加深,使得同行评议的参与者不再局限于科研工作者,科技评价成为一个众多角色参与的社会过程,也会产生学术层面以外的影响。相较于单一学科研究,跨学科研究的应用性较强,成果转化特征更加明显,非学术价值也更高。而目前的同行评议强调了学术价值的评判,但在社会价值、经济价值等方面还有所缺失。李澄锋等[22]认为,如果同行评议继续坚持以科学价值作为唯一价值取向,在当下的科研环境中将是“不合时宜的”。如何弥补这种价值取向的缺失,正在成为解决同行评议危机的关键问题之一。

2.3 同行评议与跨学科研究不相适应的成因

笔者认为,跨学科研究趋势下同行评议法一系列问题的成因,主要可以归结为以下3点。

2.3.1 学科范式复杂化和成果价值多元化

多学科交叉导致学科范式过于复杂,因此很难建立行之有效的评价标准。对于跨学科研究而言,其主要价值经历了由单一学术价值向多元价值扩增的进程。在这种价值多元化的趋势下,除了要强调科学研究在同行之间的学术影响力以外,还要保证其获得社会的认可,进而创造社会价值[23]。若同行评议仍以学术价值作为评判的唯一价值取向,势必会造成评价不合理,难以适应价值多元化的新局面。

2.3.2 专家遴选拘泥于传统内在逻辑

长久以来,同行评议方法一直依托于传统的学科分类思想,按照学科遴选专家、开展评价。但对于部分跨学科研究者来说,所谓“小同行”的数量十分稀少,“小同行”势必要向“大同行”扩充。Touraine[24]指出:当学术系统仅按其内部逻辑运行时,就会失去发展动力,因为单纯的内部逻辑不足以处理其与环境之间的关系。同行评议若仍拘泥于传统评价的内在逻辑,严格按照学科分类,从单一学科中遴选专家,将不能适应目前愈加广泛的跨学科现象,在评价工作的实际操作中不可避免地出现“水土不服”的状况。

2.3.3 学科分化与去分化的现实对立

20世纪60年代,西方国家开始反思学科制度化的消极影响[25],这种反思和讨论从一定程度上促进了跨学科研究的发展。时至今日,学科分化的局限性已经成为一个共识。而当下的处境是,学科分化和去分化仍然存在现实对立[26],这使得同行评议在跨学科研究评价中举步维艰。换言之,要想解决跨学科研究评价与同行评议不相适应的问题,必须要找到合适的学科分化限度。

随着科研工作中跨学科现象的愈发普遍,跨学科研究的评价不再是单一学科评价的附属产物,而是逐渐独立出来,成为科技评价体系中的重要组成部分。目前,许多西方科技强国已经建立了相对完备的跨学科研究评价制度,尤其是英国的REF。作为全球领先的科技评价体系,REF对跨学科研究评价的探索已经走在了前列。

3.1 REF概况

REF是英国在2014年开启的新一阶段科技评价体系,其由英国高等教育基金委员会(Higher Education Funding Council,HEFC)主导。在评价策略上,REF延续了其前身研究评估考核(Research Assessment Exercise,RAE)的做法,仍然将同行评议法作为主体评价方法。在同行评议组织方法上,REF在每个学科大类设置一个主专家组统筹该大类下所有学科的评价工作。将大类下属的每个具体学科作为一个评估单元,并在每个评估单元设置一个次专家组来实施评价。

在REF中,评价工作主要围绕三个维度展开:成果(output)、影响力(impact)和科研环境(environment)。

成果维度可以理解为成果质量。在这个维度中,主要通过原创性(originality)、重要性(significance)和严谨性(rigour)对成果进行评价,使用同行评议与文献计量指标相结合的评价方法。需要注意的是,在评估学者时,成果维度考虑的不是被评估学者的全部学术成果,而是其代表性成果(最多提交4篇)。这一点与我国目前提倡的代表作制度十分相似。

影响力维度是指成果在学术之外的影响力,如在经济、社会和文化等方面的影响。影响力维度主要通过重要性(significance)和影响范围(reach)来进行评估。

科研环境维度是指大学开展科研活动的环境和条件,主要从活力(vitality)和持续性(sustainability)两个方面开展评价。

英国的科技评价体系在数十年内持续变革,针对科学研究中涌现出来的问题不断改进,并在评价策略、方法上做出新尝试,成为全球科技评价工作的风向标。

3.2 REF 2021中应对跨学科趋势的改进措施

为了应对愈加普遍的跨学科现象,REF 2021对同行评议方法做出了一系列的调整。

3.2.1 减少评估单元数量

在RAE阶段,英国的高等教育科研评估工作以学科细分的形式,将学科逐渐细化,导致评估单元数量也随之增多。在RAE 2008中,评估单元数量已经有67个。进入REF时代,HEFC认为,评估单元过于细分会导致学科之间的壁垒难以打破,不利于科学思维的发散和科学研究的开展。因此,在REF 2021中,HEFC将主专家组数从顶峰时期的15个逐步调整到了4个,通过不断合并与缩减,评估单元数量已降到34个。

由于科技评价工作的后验性特点,这一数量设置是否最为合理,当下还无从得知。但是这种摒弃“小同行”,拥抱“大同行”乃至“非同行”的举措,对于同行评议走出学科细分的泥潭大有裨益。尽管这种减少评估单元数量的做法,可能会增加专家组内部的工作量和沟通成本,但是为了帮助跨学科成果匹配到合适的专家,这种成本增加是完全可以接受的。

3.2.2 强调评议专家的跨学科素养

REF 2021规定,在评价人员的招募工作中,跨学科研究活动中的贡献以及管理跨学科活动的经验将被视为重要的考察点。同时,每一个评估单元至少有2位在跨学科方面有一定经验的专家,这些专家将被任命为跨学科顾问,在评估跨学科产出时向所在的评估单元提供指导。所有跨学科顾问通过IDR Network就不同跨学科主题中的经验相互交流,并统筹跨学科研究评估方法在不同主题中的一致性。

除此之外,REF 2021还设置了专门的跨学科研究咨询小组(Interdisciplinary Research Advisory Panel,IDAP)。该小组的主要任务是统筹跨学科研究的评估工作,保证跨学科研究可以像传统单学科研究一样受到公平待遇,并负责为跨学科研究的评估程序提供建议和指导。

这种在招募评价人员阶段就对跨学科经验加以限制,来保证跨学科专家配比的方法,使得专家中的学科多样性得到了保证,极大地减少了同行评议中“人”的因素对跨学科研究评价的不利影响。而IDAP的存在,则可以从相对宏观的角度,为评价人员提供相对统一的跨学科评价指导。总体而言,在专家遴选和人员组织方面,REF 2021无论在整体层面还是个体层面,都为跨学科研究提供了帮助。

3.2.3 允许跨组协同评估

尽管在评估单元设置和人员配备两个方面,REF 2021已经尽可能地保证绝大多数的跨学科研究可以在单一评估单元内被妥善评价,但是不排除少数跨学科研究仍然不能在其提交的单元内完成评估。因此,REF 2021界定了协同评估模式:①如果次专家组认定本组不具备足够的知识来评估某项跨学科研究,需要从其他专家组中获取专业知识,该组组长和跨学科顾问可以提出联合评估申请;
②如果对于跨学科研究的特定部分,次专家组认定本组完全不具备评估这部分内容的知识和能力,则可以将该部分的评价任务转交给其他次专家组进行评价。

这种协同评估措施强调了面对跨学科研究时需要更多的沟通,进一步规避了单元设置和人员招募中潜在的不合理对评估造成的不利影响,为跨学科研究的评价增设了“双保险”。

3.2.4 使用引文数据辅助评议

由于同行评议的主观性特征,专家的观点极易受自身知识体系和学术观点的影响,从而导致成果无法被公正评价。邱均平等[27]认为,引入Altmetrics方法后,引文分析的应用范围得到了拓展,层次变得更加丰富,使得引文数据非常适用于破解交叉学科中同行评议的困境。

在REF 2021的具体评价实施过程中,不完全依赖同行评议。其加入了引文数据作为评判依据,其他的文献计量学指标(如期刊的影响因子、排名等)都不会纳入考虑范畴。需要注意的是,HEFC认为引文数据并不一定总是可靠的,所以引文数据仅作为同行评议的辅助工具。

数百年来,在科技评价中占据主体地位的同行评议法,在应对跨学科研究时表现出一定程度的不适应,暴露出很多问题。为了应对这些挑战,帮助科技评价工作完成从小学科到跨学科的转变,需要从合理设置参评学科体系、强调评议专家的跨学科素养、使用多种定量方法辅助同行评议三个层面入手,对同行评议法进行改进。

4.1 合理设置参评学科体系

学科分类作为科学发展历程中具有重要意义的原则,也指导了传统同行评议法的学科设置。但随着科学研究中跨学科场景的不断出现,学科分化与去分化之间的现实对立慢慢凸显,学科化评价已经不能适应跨学科时代下的科技评价需要。目前的科技评价实践已经证明,过度的细分并不能提高评价质量。

要想同行评议法在跨学科场景下继续保持生机与活力,就要化解学科分化与去分化之间的现实对立。找到适宜的学科分化界限并非易事,但科技评价工作需要与时俱进,需要适应现代科学研究的进程。在科技评价方针制定和大型科技评价工作实践中,必须要从评价学科设置入手,从“小学科”思维中走出来,控制评价学科数量,合理设置参评学科体系。

4.2 强调评议专家的跨学科素养

由于学科分类思想长期影响着科学研究工作,大部分评议专家的知识储备都是建立在学科分类基础上的小学科知识体系。对于缺乏跨学科研究经验的学者来说,根深蒂固的本学科思维导致其欠缺对跨学科研究的包容度,进一步放大了同行评议的主观性缺点。

REF在专家遴选阶段注重跨学科研究经验的做法十分值得借鉴。评议专家很难具备多个学科的知识储备,若评议专家有参与跨学科研究的经验就意味着其认可跨学科的研究模式,具备一定的跨学科素养。这种知识储备“小学科”、研究思维“跨学科”的专家遴选模式,既可以保证专家在评议其所熟知领域时的专业性,也可以保证专家在面对跨学科研究时不会有失偏颇。

4.3 使用多种定量方法辅助同行评议

不同于同行评议的主观特点,定量评价方法具有很强的客观性,因而非常适于作为同行评议的辅助工具。一些传统的文献计量指标已经在科技评价工作中得到了广泛应用,尽管在一些评价实践中存在过分依赖计量学指标的问题,但从整体而言,客观的数据仍然具备一定的说服力,比较适宜作为主观评价的佐证和辅助。

同时,在跨学科场景下,科学研究的应用特征更加明显,随着科研成果转化而来的社会影响力往往难以主观判断。相比之下,一些基于Altmetrics方法的定量指标在评价社会影响力方面可能更具优势[28]。但由于众多Altmetrics指标尚未成熟,所以提倡以这些指标为辅助手段,结合主观评价使用。这种定性定量相结合的方式可以帮助同行评议法全面、多方位地评价跨学科研究的影响。

在跨学科趋势日益明显的背景下,科学研究中的思想融合、方法借鉴和知识体系的碰撞更加频繁,这使得科学范式表现出复杂化的特征。这种跨学科趋势不仅影响了科学研究的内在逻辑,也对科技评价工作提出了更高的要求。

本研究使用文献调查法和案例分析法,梳理了国内外关于跨学科研究、同行评议机制的相关研究,总结了跨学科场景下同行评议法存在的具体问题并分析其成因。同时,根据REF 2021中针对跨学科研究评价的相关做法,认为减少评估单元数量、强调评议专家的跨学科素养、允许跨组协同评估以及使用引文数据辅助评议等措施都为解决跨学科研究的评价问题提供了很好的思路。在此基础上,本研究认为应当从合理设置参评学科体系、强调评议专家的跨学科素养、使用多种定量方法辅助同行评议三方面入手,对跨学科场景下的同行评议法进行改进,帮助科技评价迈出“小学科”,走向“跨学科”。

我国科学研究体量大、项目多,科技评价工作需要解决的问题更加复杂。在借鉴他国科技评价体系先进经验的基础上,不仅要合理评价科学研究的学术影响,还应当考虑到社会层面的影响,妥善解决同行评议在社会影响力评价方面有所缺失的问题。在跨学科趋势下,同行评议的各个环节都要充分考虑跨学科研究的特征,设置科学的评价标准,遴选合适的评价人员,建立完备的评价体系。只有跨学科研究得到公正、客观的评价,它才能进一步发挥拓展科学思维、解决复杂问题、促进科学发展的作用。

猜你喜欢评议跨学科专家跨学科教学在高中生物课堂教学中的应用实践科学大众·教师版(2022年6期)2022-05-23致谢审稿专家计算机应用(2022年2期)2022-03-01初中历史跨学科主题学习活动的实践与思考历史教学问题(2022年6期)2022-02-28应用型高校推进跨学科人才培养的路径探索大学(2021年2期)2021-06-11难忘的两次评议活动公民与法治(2020年2期)2020-05-30创新评议形式 提高评议实效人大建设(2017年2期)2017-07-21对“自度曲”本原义与演化义的追溯与评议中华诗词(2017年10期)2017-04-18商标跨类保护的跨学科解释知识产权(2016年4期)2016-12-01请叫我专家宠物世界·猫迷(2016年3期)2016-04-23同行评议过程中专家的回报模式分析中国科技期刊研究(2016年11期)2016-04-17

Tags: 跨学科   同行   评议  

搜索
网站分类
标签列表