基于关键绩效指标(KPI)的科学研究评价研究

/ 2

基于关键绩效指标( KPI)的科学研究评价研究

夏冬梅 1, 2 陶峰 2

  1. 新疆师范大学 教育科学学院,新疆 乌鲁木齐 830054

  2. 2. 重庆工程学院,重庆 巴南 400056

摘要:一直以来关键绩效指标(KPI)是实施考核的最佳衡量标准,同时也为科研评价提供了新技术和新方法,关键绩效指标为科学研究和高等教育提供了质量保证。科研部门和很多高校都以KPI作为科研绩效和评价的管理方式。通过不断的发展,科研管理部门在关键绩效指标的实施中加入一定的附加值,不断改进大学科研绩效指标评价方式,同时,第三方(如政府机构和利益相关者)也参与了关键绩效指标的环节。

关键词:KPI,关键绩效指标,科学研究评价

1.引言

1.1研究背景

近三十年来,科研投入(Research and Development,R&D)呈指数级增长,使许多传统大学转变为研究型大学。随着对世界金融体系和地缘政治的影响不断扩大,科技实力在世界各地确立了其优越性。科学研究的结果在决策过程中起着重要的作用。在决策过程中,借助于趋势指标来衡量整体绩效,并在一定范围内进行相关测量,如政府、机构、大学、教师、分支机构等。学校必须熟悉科学研究投入和产出的量化价值,并提前部署研究计划,以获得战略性的成功(Al-Turki,Bilgrami et Al.2015)。高校孵化器的趋势之一是向科研机构或人员实施基于关键绩效指标的动态管理。关键绩效指标(KPI)提供了评估人员流动绩效的概率,以及评估独特部门(部门、实验室、科学中心、学院、分支机构)和整个科研小组的绩效。

1.2关键绩效指标(KPI)

Goedegebuure等人(1990年)指出,“绩效指标的权威定义并不存在”,虽然他们经常认为是完全定量的,但“定性绩效预警也存在”(Findlay 1990年)。Cuenin(1987)认为需要更清晰地定义绩效指标,经济合作与发展组织(OECD)高等教育机构管理绩效指标工作组等相当多的顶尖机构于1989年组成(Cuenin 1987)工作组将绩效指标定义为“来自数据库或意见记录的信号,表明希望探索偏离规范或不同预选活动或绩效层次的情况”,变现为“监测趋势或表现,表示需要额外检查问题或状况,或协助评估质量”(Kells 1992)。Kells(1992)还指出,至少有三种类别的指标:1.科研机构对当局目标或政策的反应的指标;2.教学服务指标;3.大学需要的指标。

1.3绩效指标类型

关于输入、输出、结果和过程这四类绩效指标,人们达成了普遍共识。这些指标可以更广泛地分为定量指标和定性指标。这些类型的描述如下:

1.3.1定量指标

1.3.1.1输入指标

投入指标反映了支持机构方案、活动和服务所涉及的人力、财力和物力资源。输入指标的局限性在于如果没有广泛的解释,就无法确定科研质量。例如,资源分配等指标应与入学数据(确定师生比)、资源质量(即实验条件)和概念范围(如图书馆藏资源等)相关联,以评估科研质量。

1.3.1.2输出指标

产出指标也受到类似的限制。产出数据反映了产生的成果的数量,包括可立即衡量的成果,以及为产生这些成果而开展的活动的直接后果。定义特征是数量或数字量,而这些数字的质量几乎完全被忽略。投入和产出指标内在地受到数据驱动的“定量”性质的限制,这就限制了高校和科研质量至关重要的教学、互动和学习过程的调查。因此,定量绩效指标并不能说明科研质量,而是说明科研成果的数量。定量指标作为科研质量的评价指标是有限的。然而,质量指标得到了很大的支持,因为它们侧重于质量方面,并允许对高等教育系统始终由其组成的深层次和复杂问题进行衡量。

1.3.2定性指标

1.3.2.1结果指标

结果衡量的重点是科研计划的质量、活动和服务社会。成果绩效指标通常不涉及以数字数据的形式产生成果的数量,而是从质量和影响的角度衡量复杂的过程和结果。这就是产出和结果计量之间的区别。虽然它们都衡量科研的效果,但产出绩效指标是定量的,结果指标是定性的。

1.3.2.2过程指标

过程指标是指在体制环境中提供科研方案、活动和服务的手段。这些衡量方法着眼于系统在其特定背景下的运作方式,以及制度多样性的解释,这是机构间和机构内比较中的一个共同混杂因素。

2.国外科研评价方式相关案例

新西兰研究型大学采用了三级基于KPI的指标,受限于研究生、工具服务和支出的多样性。其他五级指标衡量研究产出、授予学位、出版物、科研收入和价值回收率。为了衡量研究成果,以引文的多样性、大学参与的范围、国际化、货币影响和技术成果转换为精确的指标。

澳大利亚研究型大学如悉尼学院已经开发了17级评价指标,但仅有两级KPI的指标与科学研究有关,即研究收入和研究产出。其余15级指标用于衡量学生多样性、学生成绩、资金注入、投资商和企业满意度。

英国研究型大学应用了八级基于KPI的指标,其中三个与科研有关,即研究生人数、研究经费和设备设施,其他五个衡量指标是研究产出、出版物、授予学位、科学收入。为了衡量研究成果,他们用引文的多样性、国际合作、学校服务社会能力、经济影响和科技成果转化作为考核指标。此外,英国研究评估考核(RAE)着眼于质量的基础上,提出了科研活跃度和科研的广泛度。各科研机构每5-7年需向RAE提交一次报告,报告由组织内各评估单位自评报告组成。每次科研评价都会在上一次的基础上对评价方法、程序和标准等进行一定的调整。

德国研究型大学采用了4级关键绩效指标评价科学研究,这些关键绩效指标仅限于第三方资助,与教授、第三方资助的金额以及博士和博士后的来源有关。

芬兰的大学以项目融资作为核心资金,其中75%是根据研究人员教育的程度计算,25%基于科学政策。整个核心资金的34%主要用于对研究人员的绩效进行评估。

美国研究性大学采用了五级KPI的科研方法,对这些指标的描述为:(1)定量指标(2)实用指标(3)方向性指标(4)可操作性指标(5)财务指标。

2013年,54所俄罗斯大学根据俄罗斯联邦政府规定,申请获得政府援助,以促进世界主要科学和教育核心的积极繁荣,2013第211号“关于俄罗斯联邦主要大学让其在世界主要科学和教育中心中发展的政府援助措施”。

4.结论

大学里的科学研究面临压力对质量、创新和科技成果的期望非常高。大学科研期望将绩效指标作为衡量大学向国家目标迈进的标准和为大学和国家的利益做出的具体贡献。科研管理部门在各高校院系按科研优先次序进行的基于关键绩效指标的科研工作,实现了与使命和愿景相一致的目标。由于学校通常制定其关键绩效指标来衡量三个主要方面,如工作流程、社会效益和R&D方面,因此建议加入科研社会责任的角度来衡量其绩效。教育主管部门应通过在关键绩效指标的实施中加入一定的附加值,提供衡量学校科研绩效的最佳指标。此外,应引进第三方(如政府机构和利益相关者)作为关键绩效指标的考核评价机构之一。


项目来源:重庆市教育科学“十三五”规划2020年度“教育督导评估检测”专项课题“以成果转化为导向的民办高校科研制度重构研究”(编号:2020-DP-22)