职场文秘网

首页 > 心得体会 > 学习材料 / 正文

基于数据分析模型的项目负责人评估机制研究

2023-02-05 17:20:09

贾异,童杨,刘栋,宋阳,卞曙光

(1.科学技术部 高技术研究发展中心,北京 100044;
2.天津大学 管理与经济学部,天津 300072)

科学技术是推动世界发展的关键因素.由于世界经济的迅速全球化,科学技术从根本上决定了国家的核心竞争力.国家科技计划项目的实施是国家提升相应领域科学技术的重要手段,而项目负责人对科技计划项目的执行完成情况有着举足轻重的影响,这就决定了项目负责人在科技计划项目中的重要地位及项目管理部门对项目负责人评估决策的重要性.近些年,大数据的发展已渗透到各行各业[1],国家科技项目管理中也产生了大量的数据,在科技项目管理中融入大数据理念[2],有利于发挥大数据的作用,提高项目管理效率,优化资源配置,提升科技项目执行完成水平,最终达到提高国家核心竞争力的目标.

当前,国家科技计划项目评审工作是一个收集项目评审信息,并对评审信息进行分析和归纳的系统过程.例如国家重点研发计划项目评审在着重评价的研发团队及工作基础中对项目负责人有明确的评估要求,而评审工作主要采取同行评议的方式进行,如预评审及视频答辩评审均采用同行评议方式,而同行评议专家对于评估指标的理解程度及各自的评估意见存在差异性,从而导致评议结果具有较大模糊性和不确定性.

利用大数据分析方法辅助科技计划项目管理正受到越来越多的关注,很多学者从不同的角度给出了研究方法和理论体系.一些研究人员分析了科技项目管理数据的基本特征,并深入研究了这些数据的应用模式.耿国庆[3]分析了科技计划项目大数据的新特征,并研究了大数据在科技项目管理中的应用及作用,进而提出了科技计划项目大数据背景下项目管理的策略.刘蔚等[4]等通过构建科技计划项目大数据分析模型,形成多种属性特定服务场景的分析产品和决策支撑工具,为利用科技管理大数据支撑科技计划管理和决策提供了参考.

科技计划项目评审必须结合基于事实数据的定量分析和专家智慧的定性分析[5].本文利用大数据分析处理方法,建立科技计划项目负责人与项目效果预测关联模型,探讨基于大数据分析建模的方法来辅助评审专家对项目负责人进行评估的方法.通过对科技计划项目资料的整理和收集,以及对项目负责人及其衍生数据的收集分析,建立模型并根据项目负责人数据预测项目执行完成效果,借助现代科学分析方法,为科技计划项目管理决策提供参考,以提高科技计划项目管理效率,优化资源配置,落实科技管理“放管服”精神,促进科技计划项目高质量完成,提升科研绩效.

为了促进科技计划项目高质量地完成,建立起项目负责人各因素与项目执行完成效果的关联模型,将数据分为输入数据与输出数据两大类.如表1所示,此两大类信息皆为已知数据,其中输入数据为可以反映项目负责人对整个项目影响较大的信息数据,包括:项目负责人个人情况、项目负责人的科研能力、项目负责人的组织能力及边缘效应.输出数据为项目结题情况信息,包括:项目完成情况、项目产出情况、项目创造利润、项目产出投入效益比及项目单位时间产出效益.项目结题情况信息显示的是项目最终完成效果,可以反映出项目负责人的综合能力在项目执行期间对整个项目的影响,因此项目负责人信息与项目的结题情况存在着明显的因果关系.利用大数据分析的方法将两者关联起来,分析两者的关联性,从而达到利用已知项目负责人信息预测项目执行完成情况,并依据预测结果评估项目负责人个人综合能力,为项目负责人评估机制优化提供理论数据依据.

如表1所示输入数据信息包括4类,其中负责人个人基本信息在项目申报书中提取,信息包括项目负责人年龄、性别、学位、技术职称、所属单位性质及科研职务等.

而负责人的科研能力不仅代表着其完成整个项目目标的潜力,也代表着其在学术领域的带头作用大小.对负责人科研能力的考量主要从其H因子、G指数、授权专利、承担/参与项目数量、科研奖励情况及关注领域数等方面.H因子及G指数均以百度学术数据库为准;授权专利主要以soopat专利数据库为准;参与或承担过的项目数据以中国知网数据库为准;科研奖励数据参考科技专家库服务管理系统;关注领域数据以中国知网数据库为准.

项目负责人作为国家科技计划项目的负责人,其应具备相应的组织能力,对国家级项目进行统筹协调,规划并督促国家科技计划项目按时按标完成.项目负责人的组织能力从承担过国家科技计划项目负责人的次数、承担项目质量、承担项目参与单位数量、承担项目参与人员数量、承担的项目经费、担任的领导职务等方面数据体现.承担国家科技计划项目次数数据参考科技专家库服务管理系统;承担项目质量数据参照中国知网数据库;承担项目参与单位数量、参与人数及项目经费数均来自项目任务书数据;项目负责人在社会中担任领导职务数据从科技专家库服务管理系统中获取.

在信息数据激增的时代,除了项目负责人的主要科研背景对项目执行有一定影响外,负责人的衍生关联信息对项目负责人在项目执行中的影响也不可小视.在这里称之为边缘效应.包括项目负责人的活跃网络数据、学术影响力、社会属性以及项目负责人与项目承担单位间的关系.项目负责人的活跃网络中6人学术水平主要从合作人的发文量、下载量及承担/参与基金等方面进行考量.活跃网络数据来自中国知网数据库.学术影响力则包括负责人曾作为专家参评过国家科技计划项目的数目以及个人获得学术/荣誉头衔(中国科学院院士、中国工程院院士、863首席专家、973首席专家等),与项目负责人在社会学术组织中的任职情况数据均从科技专家库服务管理系统中获取.

项目负责人与项目承担单位间的关系对于项目实施进展同样有着不可忽视的影响,项目负责人所在单位与项目承担单位一致抑或不一致,都对项目的执行完成情况有正面或负面的影响.

输出数据主要为项目结题情况信息,这一数据主要对照项目立项时任务书规定的目标和任务,关键技术指标等是否达到.这一数据包括5类,其中项目完成情况作为固定数据可以定性比较项目完成优劣,同时作为项目负责人评估的重要参考依据.项目执行期间产出包括发表的论文数量,论文级别,申请和授权的专利情况,产生的标准与草案,出版的教材和学术专著,培养的博士后、博士、硕士及工程师等数量,项目团队通过项目实施获得的奖励或荣誉情况.

以上两类信息中,项目负责人信息属于输入数据,而项目结题情况是输出数据,这些数据都需要进行细致谨慎的量化与归一化,以便于后续模拟处理.这些数据中有的数据本身即是数字化的数值,量化比较容易,可以直接采用或者经过简单变换后采用.有的数据是非数值化数据,需要进行处理,可以按照简单直观的原则进行等级分制量化.

本研究为建立一个全面的项目负责人评估模型,选择一个多输入和多输出变量的网络模型.项目负责人的个人情况、科研能力、组织能力及边缘效应4类输入数据可以反映出作为一个项目负责人在项目执行中应具备的个人基本素养及能力,其对项目的执行完成情况有着较直接的影响,而代表项目执行完成情况的项目产出、项目创造利润、项目产出投入效益比及项目单位时间产出效益4类输出数据可以反映出项目最终的成果呈现,项目完成情况作为项目最终成果的综合评定打分数据可以定性比较项目完成优劣,同时作为项目负责人评估的重要参考依据.具体考虑利用python将各输入变量与输出变量建立关联度模型,根据各个输入变量与输出变量的关联度情况,最终形成一个4输入、4输出的拟合模型.主要大项数据包含的子项数据量化如表2所示.

如表2所示,项目负责人的个人情况中,技术职称如初级、副高级、高级分别取1、2、3分.学位按照学士、硕士、博士分别取1、2、3分.科研职务按照项目负责人所在单位中担任的职务高低,适当加分;
项目负责人的学术能力,如H因子、G指数、专利、承担/参与科研项目数得分则采用原数据暂不做处理,后期统一归一化;
项目负责人的组织能力中,获得的科研奖励则按照国家级、省部级、地市级分别计分并累加.作为项目负责人承担过的项目数、参与单位数量、人数及项目经费数都采用原数据,数据处理时归一化;
项目负责人的边缘效应,与负责人合作紧密的同机构及不同机构人员数及他们的学术水平(发文量、下载量、基金数)得分为原始数据累加,项目负责人参评过的国家级科技计划项目数量得分为累加数,而其获得的学术/荣誉头衔得分按照层次级别划分并分别赋值累加,最终做归一化处理;
项目产出的综合情况,科研成果及奖励中项目产出的论文、专利、标准草案、专著等得分为累加得分.项目周期内获得的荣誉或奖励量化得分按照奖励的级别及数量进行数据累加.项目周期内培养的人才数量及创造的效益、利润等数据累加并最后归一化.

表2 详细子项数据表

为了建立数据模型,对70个已结题国家高技术研究发展计划(863计划)重大共性关键技术类课题进行回溯整理,将项目任务书及结题报告中对应的数据按照表1进行搜集整理,部分数据从网上数据库获取,量化并归一化.将数据库中70%作为建立模型的训练集,另外30%项目数据作为测试集,通过使用python的pandas模块,将训练集中项目数据抽象成数组,通过计算皮尔森相关性系数和线性回归算法,计算得到各输入变量与输出变量的关联度模型及定量关系,建立4个输入变量分别与4个输出变量间关联模型,并形成一个输出变量对应最终项目完成情况关联模型.利用测试集数据对建立模型进行验证,并通过对结果数据的对比模型进行调整,最终得到模型结果.模型训练过程如图1所示.

2.1 皮尔森相关性系数和线性回归算法

2.1.1皮尔森相关性系数

分别计算项目产出、产出效率、项目创造利润、总投入与产出效益比与项目负责人的个人情况、学术能力、组织能力和边缘效应的皮尔森相关性系数,研究项目负责人的各项客观因素与项目执行完成效果间的相关性,定性分析项目负责人的各项客观因素对项目完成结果影响大小.

2.1.2线性回归算法

线性回归(linear regression)[7]是一种应用于统计学中的回归分析方法,它能够归纳出自变量和因变量之间相互依赖的定量关系,这种关系通过线性回归方程来表示,其中自变量可以是一个也可以是多个.

利用线性回归算法可以定量计算出项目负责人的各个客观因素与项目完成成果间的关系,并最终计算得到项目完成情况的量化得分,通过分数对比判断项目负责人综合客观情况.

2.2 模型

分别计算项目负责人个人情况、科研能力、组织能力、边缘效应与项目产出、产出效率、项目创造利润、总投入与产出效益比的皮尔森相关性系数,可以得到每项输出变量与输入变量的相关性关联模型,可以定性分析输入变量对输出变量的影响力大小,同时,建立项目完成情况与各输出变量的相关性关联模型,定性比较各输出变量对项目完成情况的影响.结果如图2所示.

图2为建立的各输入数据与输出数据间的模型,由图2可以看出,项目产出与项目负责人的科研能力关联度较高,项目负责人科研能力越强,则项目整体的产出就越多;
项目产出效率与项目负责人的科研能力、组织能力和边缘效应都有较大关联度.在一定时间内,项目的整体产出除了靠项目负责人的个人科研能力外,项目负责人对整个项目团队的组织越强,项目团队高效协同地完成项目目标成效越好,则产出效率也越高.项目负责人的边缘效应对产出效率影响也较大;
项目创造利润与项目负责人的组织能力关联度较大;
总投入与产出效益比与项目负责人的个人情况关联度最高,与负责人的科研能力和组织能力也有较强的关联度;
最终的项目完成情况则与各个结果数据都有较强的关联度.

利用软件对数据进行分析,通过多元线性回归算法,可以得到各个自变量与因变量间的定量关系,同时还可以确定线性回归关系的显著性,计算过程中将置信度设置为0.95.假设项目负责人个人情况为a,科研能力为b,组织能力为c,边缘效应为d,则各个自变量与因变量间的定量关系为:

S项目产出=0.353+0.014a+0.183b+0.072c-0.026d,

(1)

S产出效率= 0.337-0.029a+0.101b+0.230c+0.059d,

(2)

S项目创造利润=0.070+0.096a-0.033b+0.319c+0.026d,

(3)

S总投入与产出效益比=0.081+0.074a+0.030b+0.089c-0.012d,

(4)

S项目完成情况=0.568+0.265S项目产出-0.044S产出效率-0.050S项目创造利润+0.377S总投入与产出效益比,

(5)

(1)~(4)式为4个输入数据与输出数据间的定量关系公式,(5)式为最终结果项目完成情况与4个输出数据间的定量关系公式,各定量关系的相关性判定系数R2分别为0.825 85,0.831 14,0.873 89,0.893 58及0.999 03,均接近于1,方程的显著性检验F统计值分别为77.063 87,79.984 92,136.453 44及16 797.938 75,数值均较大,说明各自变量与因变量间均存在显著的线性回归关系.依据结果来看,样本是符合线性关系的,故用线性模型来表示是合理的,至于其他模型是否也会符合样本数据,需要更进一步的探究.通过公式结果可以看出,项目负责人的科研能力对项目产出影响较大,项目负责人的组织能力对产出效率、项目创造利润及总投入与产出效益比结果影响较大,这基本与各输出与输入间的相关性分析结果一致.

通过将输入数据输入模型,可以得到项目产出、产出效率、项目创造利润及项目投入与产出效益比情况,最终可以预测项目完成情况得分.利用此模型可以根据项目负责人的总体情况对项目最终实施效果及结果进行预测,以此判断项目申请团队中项目负责人对整个项目执行效果的影响,并利用此模型对项目负责人进行评估.选取项目实际数据对所建立的模型及数据进行验证.图3为4个项目的实际产出数据、实际结果数据与模型输出结果数据对比图.对于结果数据中项目产出的准确率较高,因进行模拟及计算的数据有限,所以结果有一定误差,但最终的结果数据即项目完成情况得分趋势准确,可依据最终预测结果对项目负责人综合情况进行判断,客观地对项目负责人评价评估,能有效支撑对科技计划项目负责人的评估.

国家科技计划项目在评审立项时,依然采取申报方填写项目申报任务书,同行评议专家通过对任务书的审阅及个人理解对项目负责人进行评估,大数据分析模型为项目负责人的评估提供了一种新思路,事先通过提交项目负责人个人情况信息,利用大数据分析建模的方法,结合皮尔森相关性系数分析、线性回归分析等计算方法,综合模拟预测出项目完成情况,进而对项目负责人进行评估,评估结果可以提供给同行评议专家,辅助专家在评审立项时对项目负责人评估打分,减少项目评审立项时专家主观性、倾向性的影响,实现国家科技计划项目的智慧评审、精准评审,进而提升国家科技计划项目的科学化管理水平.

本文借助大数据分析处理方法,对国家科技计划项目负责人总体评价体系进行了建立大数据模型的初步尝试,经验证,模型在项目负责人评估中具有一定参考价值.在本文提出的方法框架下,通过对国家科技计划项目信息进行收集,并搜索补充相关数据,对项目负责人的总体情况数据进行整理分析,通过建立模型对项目实施效果预测,以此来评估项目负责人.该方法为国家科技计划项目评审中对项目负责人的评估提供了一种新的思路,可以利用此方法消除评估中专家主观判断存在的不全面、不客观、不公正的问题,辅助评审专家对项目负责人的评估,从而使项目评审过程更加合理,最终达到促进国家科技发展的目的.

猜你喜欢 负责人情况计划 脱发 养“老金”小雪花·小学生快乐作文(2019年12期)2019-02-06一周融资融劵情况证券市场红周刊(2018年3期)2018-05-14社区银行管理思维探索与思考经济师(2017年9期)2017-10-30国有企业负责人薪酬激励机制的问题与对策分析商情(2017年28期)2017-09-04暑假计划小天使·一年级语数英综合(2017年7期)2017-08-04学做假期计划小天使·一年级语数英综合(2017年2期)2017-02-16学做假期计划小天使·一年级语数英综合(2017年2期)2017-02-16Learn to Make a Holiday Plan学做假期计划小天使·五年级语数英综合(2017年1期)2017-02-08如何才能成为一个合格的医院项目管理负责人考试周刊(2016年9期)2016-03-12特殊情况小说月刊(2015年6期)2015-04-23

Tags: 项目负责人   模型   评估  

搜索
网站分类
标签列表