科研项目评估篇（1）

中图分类号：G311 文献标识码：A 文章编号：1671-2064（2017）01-0243-01

科技计划是贯彻科技发展规划，配置科技资源的重要手段，是引导、支持全社会加强技术创新和推动科技进步的一项重要的科技管理工作。科技计划项目立项评估，是在科技项目申请立项的阶段介入，主要是对科技计划项目立项前的必要性和可行性进行事先的评估。选择科学的评估方法对合理配置科技资源，进行有效的科技决策至关重要。

1 国内外科技评估方法研究现状

1.1 国外科技评估方法研究现状

目前，已被世界各国应用的科技评估方法种类较多，其中主要包括文献计量分析法、案例分析法、同行评议法、回顾分析法、数据包络分析法、层次分析法、投入产出法等等。

同行评议是目前在科技评估中使用最广泛的方法，对科技决策具有重要的调控功能，它主要用于5个方面：评审科研项目的申请；评审科学出版物；评定科研成果；评定学位与职称；评议研究机构的运作。虽然同行评议法使用范围广，但具有一定局限性，其结论具有很强的主观性，且代表性不强。

文献计量分析法是目前常用的方法之一，其主要手段是通过对已经公开出版的论文、引用频次及专利计数来进行科技评估。发达国家早在70年代就开始对专利文献做大量统计分析，进行评估与预测的工作。这种方法的缺点是如果过分强调数次，就可能产生不良影响，人为地改变文献被引频次或者是增加其作品被引用和发表的机会。

层次分析法是目前较为科学合理、便于实施的一种确定指标权重的方法，这种方法应用网络系统理论和多目标综合评价方法，提出一种层次权重决策分析方法。它能有效地将半定性、半定量的问题转化为定量计算问题，体现了人们决策思维的基本特征：分解、判断、综合、并以它的简洁性、实用性、适用性和系统性赢得世界各国普遍采用。但由于建立层次结构和构建判断矩阵的主观影响较大，使得这种方法的主观成分增大。

1.2 国内科技评估方法研究现状

科技评估在发展过程中形成了一些经典的评估方法，据对收集到的文献材料统计分析显示，国内科技评估方法主要有：

同行评议。同行评议指由从事某领域或接近该领域的专家来评定一项工作的价值或重要性的机制。方法主要有通信评议、小组会议评议两种，都可用于评估科技成果、科技项目等。

指标体系评估法。指标体系评估法一般都采用量化的方法，通过科学的量化手段减少评估的主观性，增加评估的客观性。同时要设计一个计算评分的数学模型，用于处理各指标间的关系。

层次分析法。层次分析法是一种定性定量分析相结合的决策方法，对主观判断作定量描述，是决策科学中非常实用、具有很大发展前途的一种方法，尤其适用于以多目标定性为主的决策。

其他评估方法。科技评估在研究发展的过程中还形成了人工神经网络分析法、统计分析法、主成分分析法、动态聚类法、模糊数学法、因子分析法、多维标度法等重要方法。

2 辽宁省科技计划项目立项评估方法研究分析

2.1 辽宁省科技计划项目立项评估方法发展概述

在综合对比当前我科技评估主要研究使用的评价方法的准确性、合理性、适应性以及评价方法使用时的工作量的基础上，我省科技计划项目立项评估一般采用同行评议和指标体系相结合的方法。

这种方法是指由从事某领域或接近该领域的专家通过一组能显示立项项目与当年科技计划项目申报指南的相符程度、项目的必要性、技术路线的可行性和创新程度、社会发展的可持续性、市场的前瞻性、科研条件的允许性以及是否有完整齐全的附件佐证材料（如科技查新报告）等一系列指标来评定科技计划项目立项的价值或重要性的评价方法，属非个人性决策，是一种由科技共同体来做出有关科学真理性评价的制度，遵循了以科学界内部的承认为依据和前提的原则。这种立项评估方法通过权威专家根据科学的量化指标来判断项目的可行性，这样的评审方法可以有效的减少评估的主观性。

2.2 存在的问题

现有的评估方法存在诸多缺陷，主要表现在： 评估专家数量有限，具有典型的“小样本”特征，其结论具有很强的主观性，且代表性不强，当增加评估专家数量时又由于研究方向和观点的不一致导致评估结论难以收敛。科技项目一般具有隐含性、超前性、探索性和不可预知性，再加上评审专家对评价标准掌握、理解不可能完全一致，难以给出确切的判断，导致最终结论中的等级评定含有不完全信息，而目前的评估方法对不完全信息难以描述，对多位专家评审意见的综合过于简单，量化信息过于粗糙。

3 科技计划项目立项评估方法的改进

科技评估是科技管理工作的重要组成部分。随着科技计划管理体制改革的不断深入，科技评估工作的重要性越发凸显，因此，建立符合我省各地市科技发展实情的评估方法尤为重要。这就要求加强对评估指标体系设定及评审专家库进行更加深入的研究。通过严格的、科学的科技评估方法，监督、保证科技评估活动健康有序地发展，真正做到客观、公平、公正、科学。结合我省的省情，并借鉴国内外科技项目的评估方法，得到以下启示：

（1）结合我省各地市科技发展实际情况，对不同计划类别的科技项目进行分析，建立合理的立项评估指标体系，能够合理并且客观的反映评估对象和目的。

科研项目评估篇（2）

目前国内外已有的专利评价指标体系已经很多，有的从投入类、产出类、运营类对专利指标进行了分类[1]，有的从不同的层面(如公司、技术、与经济结合等)设定了专利评价指标[2]，但是如此庞大而分散的专利指标体系在实施中却有很大的难度，很多指标值不符合实际需要或者无法得到。比如多数指标体系中都把专利被引证次数作为评价专利所包含技术重要程度的核心指标，但是中国知识产权局所提供的专利文献数据库与美国等的专利数据库设计有所不同，其中没有直接的引用数据项，因此实际分析时便无法直接使用这一指标。

SMART被世界银行及许多国家政府部门和组织作为在评价工作中所普遍遵循的评价指标体系设计准则[3]。SMART是五个单词的词首字母组成的简写，这五个单词是：特定的(specific)，可测量的(measurable)，可得到的(attainable)，相关的(relevant)，可跟踪的(trackable)。本文结合科技项目后评价的特点，在专利评价体系中设计中引入SMART准则，基本要点如下：

(1)特定的：科技计划项目一般是考虑影响经济发展，有望带动产业结构升级和促进社会持续发展，目前尚未解决的重大技术难题的科研项目。这些项目由于其目标系统、实施过程、效益体现等与一般项目有所不同，因此其事后评估的内容也有其特殊性[4]。因此在设定专利评价指标体系时，要考虑评价工作的目的，指标体系应该具有特定性和专门性。

(2)可测量的：对于专利指标进行评定应当有相应的标准，以相同的标准作为统一的尺度，来衡量被评价对象的表现。这里的可测量性要求并非强调一定是定量指标，对于定性指标的测量只要建立详细的评价标准，也认为是可测量的。

(3)可得到的：设计专利指标数据时要考虑该指标是否能够得到，有什么样的获取渠道和方式。有一些无法获得的指标要放弃，还有一些定性指标数据难以获得，可以采用一些近似方法获得数据。

(4)相关的：指标体系的相关性是指指标之间应该有一定的逻辑关系，不能是很多指标的堆砌。指标体系应该是相互之间具有有机联系的个体指标的组合。对专利进行评价时，考虑科技计划项目的特点，应该从数量、技术、经济和社会影响等多方面将指标进行划分和联系。

(5)可跟踪的：在设计专利评价指标体系时，还要考虑专利指标是否便于跟踪监测和控制。科技计划项目具有可持续性，很多项目是前期工作，还有后续项目的继续，通过专利评价起到监督作用。为了便于以后专利评价工作的开展，专利指标设计应该是可以跟踪监测的。

根据专利指标设计的SMART准则，结合科技计划项目后评估工作的实际情况，作者设计出相应的专利评价指标体系如下表1所示：

2　基于数据挖掘的专利情报分析方法

上述专利评价指标体系中的部分指标值可以很容易得到，比如数量类指标，但是还有一部分指标是无法直接取得，如技术类指标。如果对这部分无法直接取得的指标都采用专家打分的方式则缺少评判的依据，主观性较大，因此我们采用基于数据挖掘的专利情报分析方法对项目专利群进行技术分析，得到相应的分析结果作为专家评判的依据。

专利情报分析是指对来自专利说明书、专利公报中大量的、个别的专利信息进行加工及组合，并利用统计方法或技术手段使这些信息具有纵览全局及预测的功能，并且通过分析将原始的专利信息从量变到质变，使它们由普通的信息上升为有价值的情报[5]。基于数据挖掘的专利情报分析的工作流程主要包括三部分：数据获取、数据分析和竞争情报分析，如下图1所示。

图1　专利情报分析流程图

在进行专利情报分析时，我们不仅仅要对科技计划项目本身的专利群组进行分析，还要对该项目所涉及的技术领域的专利文献进行分析，将项目的专利数据放到国内外整个大环境中来比较研究之后才能对该项目专利群做出客观准确地评价。

2.1　数据获取

大量专利文献散落于各国的专利局与专利公报，如果要对某领域专利信息进行专题分析就必须系统地收集与整理这些专利，形成专题专利情报分析数据集，并以竞争分析为出发点，对其进行监测跟踪，以及时获取、更新数据。

在获取数据时，首先要确定专利数据来源，一般我们采用中国知识产权局公布的中国专利数据库和美国商标局公布的美国专利数据库，这两个数据库都在官方网站上公开免费提供。其次，对于科技计划项目本身所申请的专利，可以根据专利号从网站上下载数据；但是对于该技术领域专利数据的获取，则需要确定该技术领域的主题词，下载该领域的专利文献数据，形成原始专题数据库。

在得到专题数据之后，还需要对数据进行预处理。数据预处理是将科技文本数据转化为适合进行专利情报分析的可靠的精确的数据。这个过程主要包括四个阶段：数据清洗、科技分词、去除噪音词、数据格式化。经过数据预处理后，将文本数据转化为适合于专利情报分析的多属性数据库。

2.2　数据分析

对专利进行数据分析可以采用技术组(群)自动识别和分类技术，它是利用多维统计分析和因素分析法来对技术进行聚类分析[6]。在专利技术关联分析中，通过计算专利技术相关关键词之间的共生关系来确定该组专利文献内部所包含的技术组(群)。技术共生关系分析是通过对反映文献主题内容的词进行关联性或相异性定量分析，来研究文献内在联系和科学结构的一种方法，计算方法如下：：

式中，x，y代表关键词，m是文献的数目，b代表每列关键词组成的向量。这样，我们计算出了关键词之间的关联矩阵。

2.3　情报分析

经过数据分析，可以得到专利文献关键词的关联矩阵，需要用图谱可视化技术显示情报关联图。图形输出 时，根据需要对一般由点、线、面、体等基本图形元进行含义映射，使得数据的不同特征直观体现出来，然后在利用计算机图形学的各种处理算法绘制出相应的图形元[7]。

我们采用网状图的方式显示专利关键词之间的关联关系。网状图中主题关键词间的联系用线条表示，线条长度表示两主题间的相关程度。一个主题与其它主题连线短而多，一方面说明该主题与其他主题有着较强的关系，另一方面也说明该主题的开放程度较高，主题的外延在不断发展。通过图形分析，我们可以很容易将该项目所申请的专利状况与目前国内外该技术领域的专利状况进行对比分析(如下图2所示)。从上面两幅图对比观察发现，该项目所申请的专利研究主题分为4个组群，中国专利研究主题分为4个组群。虽然两个关联图的研究主题不大一致，但两者中都有服务器、路由器等组成的组群和控制器、光通信等组成的组群，这说明该项目的专利研究方向与国内该技术领域的研究方向是大体一致的。

3　应用层次分析法求出指标权重

图2　专利技术可视化对比分析图

进行专利评价，不仅受到评价指标项的影响，而且受到每个指标项相对重要程度的影响。层次分析法(简称AHP)是由美国匹兹堡大学著名运筹学家A. L. Saaty于本世纪70年代中期提出的。它为分析复杂的社会系统，对定性问题作定量分析提供了一种简洁的方法[8]。该方法目前在许多决策规划中得到应用，本系统也采用此方法进行研究，采用层次分析法与专家咨询结合计算指标权重。

层次分析法的计算步骤：(1)对问题所涉及的因素进行分类，建立指标体系；(2)根据指标体系构造各因素相互联系的层次模型(如表1)；(3)构造比较判断矩阵，对同一层次的各因素通过两两比较，确定出相对于上一层的各目标的权重，并进行一致性检验；(4)计算组合权重，即得到各指标的相对权重。本文中判断矩阵根据专家咨询得到。通过计算，得出指标的各个权重。

4　构造专利模糊综合评价决策模型

在对科技计划项目的专利群进行综合评价时，需要根据各个指标进行评价，但是这些评价指标有的可以得到确定的数值，有的不能给出定量的评价值。为了系统地考虑主观评价与客观评价，定性评价与定量评价有机结合，我们采用模糊综合评判法。

模糊综合评价是以模糊数学为基础，应用模糊关系合成的原理，将一些边界不清，不易定量的因素定量化，从多个因素对被评价事物隶属等级情况进行综合评价的一种方法。其优点是；对多因素、多层次的复杂问题评判效果较好[9]。

4.1　建立评语级

对评价指标体系中的指标，需要将指标值(部分可直接得到的定量指标)和专利情报分析的结果(反映定性指标情况)提供给专家参考，然后由专家判定评语级。评语级是用来对专利技术进行等级评价的，它由数个评价等级构成。它通过采用语言变量和模糊数来处理难以定量化的问题，进行定性指标的量化及其隶属度向量的确定，从而表示决策人对各指标的满意度。

为了最终专利评估的准确性，要力求划分的精细，但过多的等级设定会使专家因为划分过细造成给出的结果摇摆性强，从而可能造成不必要不精确的计算，同时也为了避免隶属度分配上的困难，我们将评语等级设定为五级，

4.2　构造单因素模糊关系矩阵

先进行单因素评判，即单独从一个评判因素出发，确定评判对象对因素等级的隶属程度。假设有m个专家参与评判打分，统计m份专家调查表，将每份调查表形成0、1矩阵(即在打分的等级处计为1，其他为0)。依据该矩阵计算各指标的评价隶属度，我们可以采用公式：评价隶属度=该评价等级评价人数/评价总人数，由此建立各指标的评价矩阵，包含专利评价权重及评价隶属度。则每个单因素i都对应一个等级评判矩阵

其中i是单个因素，k是第i个因素中的子因素数。

4.3　模糊综合评判过程

(1)一级模糊综合评判过程

综合考虑所有因素的影响以及各因素的权重，用模糊矩阵合成运算，得Ai的评判指标集，即W=A。R，其中A为前面用AHP法求出的权重向量，R为模糊矩阵，W为评判集。算子“。”为广义模糊合成算子，它根据不同的实际情况和评判者强调的重点有不同的取法，考虑到专利评价应该充分考虑到所有参与评价者的意见，本文中用加权平均型算法，即取“。”=(+，·)，则A。R等同于普通矩阵的运算法则。通过以上步骤，得到了Ai的评判指标集Wi。

(2)二级模糊综合评判

科研项目评估篇（3）

Abstract : In this paper ,through the practice of acceptance check evaluation, Take quantitative and qualitative assessment,peer review law, the level of analysis and retrospective analysis of combined assessment method, analysis to the scientific and technological projects acceptance check evaluation and performance evaluation.Focus on researching the indicators and weights of the scientific and technological projects ex-post evaluation by practice.And table proposals on Strengthening science and technology projects in the acceptance check evaluation.Have a Guide and reference value to China's scientific and technological projects Ex-post evaluation.

Key words : planning;projects; acceptance check ;evaluation;

科技计划评估是政府科技投入决策与管理的重要依据,对计划项目的评估包括了从立项、实施和结果或者影响的各个阶段。项目验收评估指项目结束后,对计划目标完成情况、成果结论、效益、作用和影响进行评估,检验项目完成后与项目立项时指标的一致性,以及能否在市场上应用,为新的资金支持提供决策依据。

科技计划项目验收评估是科技计划管理和项目绩效管理的关键环节,是根据项目任务书内容,对研究项目的完成情况进行评估。做好科技计划项目的验收评估工作,了解科技计划项目的执行进度、资源使用情况、目标任务的完成程度和存在问题,是科技计划管理工作的重要环节,是保障科技计划项目的顺利实施,实现计划目标的重要手段,对促进科技计划执行的有效性具有积极的作用。

我国的科技计划项目验收是指由验收单位按计划任务书或所规定的验收标准和方法进行测试、评价,并做出结论,本来是鉴定的前提,后因验收与鉴定的目的不同而脱离出来,相对于鉴定,项目验收活动开展得较少,或将二者合二为一。这两种评价活动一般都是由项目管理方(立项部门)来完成的,验收中的专家评审过程也大体与鉴定一致。由于验收工作不受重视,存在着评价内容简单、定性评价结论不准确、缺少定量评价指标等问题,立项部门即是项目管理方,又是评估方,验收通过率高,很少有不能通过验收的项目。而国外发达国家一般都是通过立法来保障项目绩效评价工作,并通过第三方中介机构实施的,故效果很好,保证了项目的完成。

我国1990年代后期在科技管理中引入科技计划立项评估机制后,科技评估活动在全国各省市逐步开展起来,主要以科技计划项目立项评估为主。2003 年5月,科学技术部、教育部等部门联合印发了《关于改进科学技术进行评价工作的决定》。同年 9 月,科学技术部印发了《科学技术评价办法》(试行)。这两个文件规定,对重大科学技术项目要求实行全程评价,包括立项、中期评估和结题验收,并可根据需要在项目结题2至5年内进行绩效评价;一般性生产技术项目评价应侧重立项评价和结题验收。此后,“国家高技术研究发展计划(863计划)”和“国家重点基础研究发展计划(973计划)”等计划项目的中后期评估纳入到计划管理环节,交由第三方――评估机构来完成。2008年,黑龙江省也首次开展科技计划项目的验收评估,完成了14项国家“十五”863计划引导项目的验收评估工作,效果很好,得到了科技部火炬中心的认可;此后,又对黑龙江省重点科技成果推广计划项目进行了验收评估,共有27个农业项目、9个工业项目通过了验收,评估结果为计划项目管理部门对下一轮项目决策提供了很好的反馈支持。

一、评估方式

验收评估主要依据有关评估规范和验收规范来操作。从实际操作上来看,验收评估一般采取同行评议来选择专家,主要包括实地考核、材料审阅、现场答辩和会议形式的讨论,并以定量和定性的方式给出验收评估结论意见。其中定量的方式主要考核取得成果和专利、论著、经费决算、以及取得的技术指标和经济指标。国家“十五”863计划引导项目和黑龙江省科技成果推广计划项目的执行情况评估工作就是严格按照上述方式实施的。评估活动遵循客观公正和科学规范的原则,参考计划评估典型案例,在充分利用已有信息基础上,综合运用案卷分析、数据统计、专利分析、座谈调研等多种方法,系统采集计划项目执行的有关信息。采集并分析了执行总结报告、计划拨款、统计数据、执行者队伍、企业参与情况、成果和专利产出等,重点对项目实施状况、组织实施及效果、取得专利及其效果、企业参与状况及其效果等关键问题进行了评估分析,评估结果说明该方式达到了分析诊断、决策参考、完善管理的评估目的,体现了突出重点、兼顾总体,面向需求、面向决策的特点。

二、评估方法

科技计划验收评估方法主要有两种:一种是综合指标体系评估的方法,即以定性和定量相结合的分析方法为主要手段,构建定性指标和定量指标相结合的评估指标体系及评估模型,评估计划目标实现的程度和实施效果的优劣分析;另一种是以数学模型为基础,强调严格的定量指标和计算方法,用于评估投入产出的情况。对一些大的评估项目,往往会针对评估问题的特点专门设计一套评估方法。如美国对日本和德国超导材料电力应用项目的评估、法国对阿丽亚娜火箭项目的评估等。用于科技项目评估的方法很多,但是每一方法都有一定的适用范围,注重方法之间的互补性,根据不同项目情况灵活使用,才能有利于提高评估的质量。

同行评议法是某一或若干领域的专家采用同一种评议标准,共同对涉及相关领域的某一事项进行评价的活动,是目前世界各国在做评价工作时最常用的方法。设方案Ai的指标因素bj的得分为aij。通过加权平均法计算Ai方案的综合评价值的公式如下:

为权系数,满足层次分析法(Analytic Hierarchy Process,简称AHP法)是美国运筹学家A.L.Saty于20世纪70年代初提出的定性和定量分析相结合的决策分析及综合评价的方法。通过专家调查,构建层次指标权重判断矩阵,并计算各指标的赋值,对主观判断作定量描述,是管理决策科学中非常实用、具有很大发展前途的一种方法,适用于处理多目标、多层次、多因素的复杂系统问题 。

三、指标体系

项目验收评估指标一般包括:计划目标完成情况、研究成果情况、应用前景、人才培养情况、资金和资源使用情况、创造效益(包括科学价值和社会效益)情况等。1991年经合组织发展援助委员会(OECD/DAC)首先提出项目中后期评估的指标体系,包括相关性、效果、效率、影响和可持续性等5大评估指标。日本在进行项目后期根据研究开发的目的、性质、方式、规模、时间等因素,评估课题的意义、目的、目标、方法和资源(人才和资金等)分配是否合理妥当。评估指标主要有:目标达成度情况、研究成果及扩散效果等。韩国对项目中后期评估的内容还包括:项目是否落后和重复、与其他项目的集成情况等。

我国的科技计划项目验收评估指标,以863计划为例,863计划课题验收评议指标包括:研究内容的完成情况、技术指标的实现情况、计划进度的执行情况、研究成果的水平、研究成果的应用前景、项目组织管理情况、人才培养情况、技术资料的完整性、经费使用的合理性、资产使用和管理情况等。专家评议时,针对这些内容分别给出定性和定量的意见,其中“经费使用的合理性”和“资产使用和管理情况”两项指标的评议内容只能由财务专家填写。分值分布情况,如表1所示。

通过此次863计划引导项目的验收评估,以及之后的推广计划项目验收评估,提出修正后的科技计划项目验收评估指标还应考虑:项目已取得的科学价值、经济效益、社会效益、生态效益情况等;应用性项目及其相关产品是否能够形成立项时预期的市场竞争力,公益性项目能否发挥出立项时预期的社会效益;项目实施过程中技术问题等目标任务的解决与开发推广的结合程度。科技计划项目验收评估指标体系P,如表2所示。

具体一些重点指标的权重,“成果水平”、“应用前景”、“已应用或开况”、“经济效益”、“预算执行和经费使用”、“固定资产使用和管理”在项目验收的各项指标中属于关键内容,应为一级权重。其中“预算执行和经费使用”、“固定资产使用和管理”两项指标可根据有关资料给出较为准确的评价意见,“自筹经费占项目总经费比例”和“购置大型设备的共享程度”是主要量化指标;“成果水平”指标不易给出准确、具体的评价结论,其定性评价主要是通过在国内外同类技术中进行比较得出的。取得的论文论著、专利、调研报告,取得的新产品、新品种、新工艺、新设备、新标准等现在可以得到量化统计,通过文献计量法进行评估后,只要根据一定的数据指标赋分值就能够实现准确评价。

四、工作体会与建议

1.通过第三方的事后评估,建立了有效的计划项目监督管理机制,促进了科技计划管理工作的规范化、科学化,增强了项目验收的公正性。

2.开展计划项目后期评估,改善了以往科研“重立项,轻结果”的局面,提高了科技投入资金的资助质量和效益,强化了科技计划项目的信用管理意识,对促进科技计划执行的有效性起到积极作用。

3.开展计划项目后期评估,可以将项目管理全过程的成功与不足置换成项目管理知识,对项目管理提供以“项目后期评估”知识为依据的决策支持,为下一步的科技计划安排和资金预算提供了依据。

4.当前科技计划项目中后期评估工作存在的主要问题就是计划执行情况和验收评估不受重视,计划项目中后期绩效评价机制缺少政府的强势推动。从发达国家的绩效评估实践看,必要的立法支持是确保计划绩效评估法制化、制度化、规范化的重要保证。要明确科技计划评估的任务导向,进一步完善科技计划项目绩效评估制度建设。

5.加强科技计划从立项、执行情况和验收全过程的评估服务和研究,尽快建立综合的、可操作性强的科技计划评价体系。通过验收评估和绩效评估的实践,感到如果有完善的项目中期评估机制,评估时间再充裕一些,评估的效果会更好。

尽快转变政府的职能,改变现行的科技项目评审中政府既是政策的制订者,又是政策的执行者和监督者的做法,由社会中介机构或专门的专业机构来对科技计划项目进行评估,完善科技计划项目评估制度并给予立法保障,是科技计划管理工作贯彻落实科学发展观的当务之急。只有用科学发展观引导科学评价观,合理地将科技计划项目评估向项目的中后期评估、成果评估、绩效评估等方面延伸,强化计划项目的合同制效力,提高项目执行的质量和实施的效率,才能使成果的创新性得到保证,使科技计划管理工作更加科学高效,全面、协调、可持续的发展。

参考文献:

[1]科学技术部,教育部,中国科学院,中

国工程院,国家自然科学基金委员会.

关于改进科技评价的决定[S].2003.

[2]科学技术部.科学技术评价办法(试行)

[S].2003.

[3]彼得・罗西,霍华德・弗里曼,马克 ・李

普希.项目评估―方法与技术[K] .邱泽

奇,译.

[4]Jan-EricFurubo, RayC . Rist, Rolf

Sandahl,刘世威,译 . Internationnal Atlas

Evaluation (内部资料)[Z].2001.

[5]方衍. 国外政府评估:以史为鉴,洋学

中用(内部资料)[Z].2007.

[6]OECD. Evaluation of Research.1997. [7]肖利,乐慧兰.迈向新世纪的日本科技

评估[J].科学对社会的影响,2002,(2).

[8]方衍. 日本、韩国科技评估的实践及其

经验借鉴(内部资料)[Z].2003.

科研项目评估篇（4）

随着社会和科学技术的进步，社会生产水平以及科学信息技术都得到了很好的提升和发展，应用先进的科学信息技术手段对项目进行评估也成为现代评估手段在一种主流评估方式。而在进行数据评估时，通常都会面对因随着社会发展所带来的信息数据爆炸性增长的趋势，所以“纷繁杂乱丰富数据”和“单一贫乏知识”所产生的矛盾和冲突也日益严重。而数据挖掘这一科学手段的出现，为解决这一问题提供了有力的技术手段，充分解决了公司和企业决策者对海量信息和数据转化为有利用价值和数据的迫切性难题。

1当下关于数据挖掘的研究

数据挖掘作为一门应用性强且研究范围广的学科，它的身影几乎遍布各个行业领域，如生物学、天文学、金融、经济管理、电力以及保险、地理地质和石油化工等等。在目前，关于数据挖掘的研究一般包括两个方面，即理论知识研究和应用方法研究。

（1）关于理论知识研究：对于数据挖掘研究和应用，不管是从科学信息技术还是企业管理角度都是以数据为中心的核心思想而开展的。而关于数据挖掘的理论研究，通常是引入较为先进关于数据挖掘的理论，通过初步估算和探讨，建立科技项目评估所需要的闭环结构，在保证科学评估的有序性的同时，提供出相对比较完善的信息要求。

（2）关于应用方法研究：在数据挖掘的应用研究上，通常采用的是综合集成评估方法。这种方法通常是以综合集成为思想，将两种或者两种以上评估方法进行合并改造，再形成一种新的评估方法，其最大的特点就是能解决单个评估方法难以解决和准确评估的数据评估难题，在获得令人满意的评估结果时，还能让单个评估方法优势得到发挥，从而弥补其不足。随着数据评估的需要，综合集成评估方法已经成为国内外进行科技评估的发展趋势和主流，在很大程度上它能在考虑到各种因素后基本很好的满足各方对项目进行科技评估需求。

2关于数据挖掘在科技评估中的应用

科技项目通常具有目标单一、过程清晰以及结果明确的特点，对科技项目进行评估时，通常要明确评估进行的对象、指标还有目的。因此在进行科技项目评估时，除了提供基本的事实素材和数据外，还要使评估内容更加直观、生动，更容易被人认同和理解。因此在进行科技项目评估时，通常要保证评估的公正性、可信性、效益性、实用性以及准确性这五大评估特征。

（1）利用数据挖掘进行科技项目评估所遵循的原则：在利用数据挖掘进行科技项目评估时，要满足评估指标体系遵循以下原则：第一；评估方案的指标体系必须侧重对项目技术风险性的考察。第二；立项的评估方案必须充分考虑到项目效益方式的内容复杂性。第三，进行科技项目评估时要充分正确认识了解和掌握科技项目发展创新程度。第四，进行科技项目评估时要对项目的技术项目性和项目经济性间的关系统筹考虑。

（2）关于利用数据挖掘进行科技项目评估和生命周期：科技项目和其他项目一样，都具有从产生到成长再到发展、成熟以及到衰老、结束的生命周期，可将此大致归纳为三个阶段，即项目前期、立项启动的项目中期以及到项目将要结束完成的项目后期。在项目前期，利用数据挖掘进行科技项目评估的工作内容主要则是通过事实数据分析项目的可行性以及材料设备的购置配备、人员组织安排等。在立项启动的项目中期，利用数据挖掘进行科技项目评估的工作内容则是通过实时数据对材料设备资源以及人员进行有效合理控制。在项目将要结束完成的项目后期，则是利用数据挖掘进行科技项目评估逐渐核算项目总投入，再进行总结验收性质的评估工作。

（3）利用数据挖掘进行科技项目评估的工作特点：在进行科技项目评估工作时，通常有以下几个主要特点：第一，评估工作需要进行多次或者重复。第二，进行项目评估时需要设置评估参照对象。第三，评估工作内容的信息量大。第四，评估项目的评估目标和结果必须明确。第五，评估工作具有一定风险性。第六，在评估工作进展时，可以进行调整，但是不能进行改变。

科技项目评估工作是一项影响因素很多且具有复杂系统性的工作，因为评估目标的多元化，所以进行评估事所采集数据不宜过多且评估时间不宜太长，过程也不宜太过复杂，且要保证评估结果的综合合理性，因此科技项目评估工作具有一定难度。对此，应该对国内外比较有效率的评估方法进行比较研究，并切实结合科技评估项目的实际特点与要求，设计出可靠的进展评估指标体系，做好科技项目评估。

3结语

数据挖掘之所以能在科技项目评估中迅速得到发展并成为科技项目评估的主流评估方法，其最主要的原因就是其能比较好的解决传统数据分析方法在面对海量大规模数据处理无力的这一难题。但不可否认的是，科技项目的海量数据本身作为数据挖掘的研究难点，其处理方法还并不完善，在利用数据挖掘进行科技项目评估时所采取的计算方法还需进一步完善。因此，做好对数据挖掘在科技评估中的应用研究，从而提高数据挖掘的使用效率，为科技评估在处理信息数据上迈进新的里程碑具有重要战略意义。

参考文献：

[1]陈士俊，赖迪辉.数据挖掘在科技评估中的应用[C].第四届大学评价与科研评价国际学术研讨会论文集.2004：339-344.

[2]刘仑.基于项目过程管理的数据仓库分析与建立[J].技术与创新管理，2006，27（3）：54-56.

科研项目评估篇（5）

中图分类号：G40-058.1

文献标志码：A

文章编号：1673-8454（2015）07-0013-04

一、现状及问题

学科建设是高等学校发展的核心工作，是衡量一所高校办学水平的重要评价标准。如何科学、客观、准确地评价学科状态，从而更好地规划资源配置促进各学科均衡发展是多年来各高校及研究机构的重点研究课题。学科评估的两个关键因素是评估指标体系和基础数据，到目前为止，学科评估重点研究了评估指标体系及评估方法，并已取得了显著成果，研究人员提出了多种比较成熟、完善的评估指标体系。但是，目前不论使用哪一套评估指标体系开展学科评估工作时都会遇到许多问题，使看起来完美的评估指标体系并不能顺利实施。以下是三个典型的问题：

（1）无法准确、全面、及时地获取各类业务数据，导致评估结果不够全面、不够客观、不够准确。

（2）评估指标是对高校业务的抽象描述，无法与具体业务数据直接对应，导致无法直接得到与评估指标对应的评估结果，需要将评估指标转换为业务标准才能与业务数据准确对应。

（3）目前学科评估主要靠人工收集数据、计算评估结果，基于一套比较复杂的评估指标体系采用人工方法去生成评估结果是一件非常困难的事情，如果要同时生成多套不同评估指标体系的评估报告更是一件不太现实的事情。

本文介绍使用大数据技术充分收集高校业务中与学科相关的结构化、半结构化和非结构化数据，并将半结构化和非结构化数据转化为更容易分析使用的结构化数据，同时确定数据实体及其间的关系，最终将经过清洗的数据按照统一标准进行存储。基于标准化的业务数据，充分发挥OLAP技术优势对学科进行多维分析并生成学科评估报表。

二、大数据解决方案

1.系统架构

基于大数据的学科评估系统框架（见图1）主要包括：数据源层、数据处理层、数据存储层和数据分析层。

（1）数据源层

数据源层是学科评估基础数据的来源，主要包括分布于各业务系统的结构化数据，系统外的半结构化数据和非结构化数据，如TXT、XML等格式的文本文件。

（2）数据处理层

学科评估基础数据分布于不同的业务系统，而且数据量大，同时还有系统外的半结构化和非结构化数据，传统的ETL技术已经无法完成处理任务。Hadoop技术能够对海量数据进行分布式处理，尤其是处理半结构化和非结构化数据具有先天优势。数据处理层借助大数据技术对原始数据进行抽取、清洗、转换，完成数据集成，按照存储层数据模型重新组织数据，形成能够支持学科评估的标准化数据。

（3）数据存储层

数据存储层是学科评估数据的核心，主要包括业务数据库、业务指标库和评估指标库。业务数据是与学科相关的基础业务数据，业务指标是指描述基础数据的维度，评估指标是指不同评估体系中的各类指标。数据存储层采用数据仓库维度模型存储业务数据，这样更有利于应用层的统计分析。数据存储层会进行数据的标准化，建立统一的编码规则，去除冗余和不一致。

（4）数据分析层

数据分析层是学科评估应用的核心。通过联机分析平台（OLAP）可以快速生成评估报表并进行多维分析，节省人工计算工作量，并以打印输出、文件输出、Email输出、Web等多种方式展现。

2.业务数据模型

业务数据采用星型模型进行数据建模，建模的重点是识别业务实体与学科评估相关的最细粒度属性，作为业务指标维度，它们将构成业务指标库，这些指标可以综合反映业务实体属于哪一个学科评估指标，其他对学科评估不产生影响的实体属性可选择性地保留在模型中，方便进行多维分析。

图2是以科研论文和科研项目为示例的科研业务数据模型。学科维度来标识论文和项目属于哪一个学科，论文类型、刊物类型、刊物分区、第一作者类型维度是评估科研论文的业务指标，项目经费、负责人类型、项目类别、项目级别、项目子级别是评估科研项目的业务指标。

3.评估指标模型

由于目前还没有统一的、标准化的学科评估指标体系，各高校内部以及各权威机构的评估指标体系都不完全相同，而且经常会有变动，如果每次开展学科评估都将基础数据与评估指标重新对应，然后计算评估结果是一件非常困难的事情。

鉴于高校内部描述业务实体的属性相对固定，提取这些属性作为基础业务指标，将业务指标与学科评估指标作匹配，这样业务实体就能对应到具体的评估指标。图3是以科研论文和科研项目为例设计的评估指标模型，设计说明如下：

（1）同一类业务数据用于学科评估的属性可能不完全相同，如纵向项目用项目级别和项目子级别属性来表示评估得分，横向项目是用项目经费来表示评估得分，所以业务指标库要最细粒度，保证能唯一标识所有类别的业务数据。

（2）最细粒度的业务指标可以使评估指标粒度更小、更加科学，从而提高评估结果的科学性和准确性，同时可以满足不同评估指标与业务数据的对应关系，保证了评估指标体系的兼容性和扩展性。如科研论文评估指标和科研项目评估指标都是基于科研论文和科研项目最细粒度业务指标生成。

（3）评估指标类型标识该评估指标是评估哪一业务，如科研论文、师资队伍、人才培养等。评估指标体系标识该评估指标对应的是哪一种评估标准，如校内评估指标体系、国内某权威机构评估指标体系、国外某权威机构评估指标体系等。

（4）评估指标中的开始年份和结束年份用来标识该指标的适用范围，支持生成历史年份的评估报表，可以比较不同年份的评估结果。

（5）评估得分是对评估指标的量化表示，并不是每一个评估指标都有评估得分，有些统计实体数量的就没有评估得分，如统计教师数量、学生数量等。

4.学科评估

学科评估的核心工作是按评估指标去汇总各类业务数据、计算评估得分，然后通过不同的维度去分析评估结果。业务系统通过数据共享方式将各类业务指标提供给学科评估系统，学科评估系统管理员根据业务指标灵活设置评估指标、得分、指标对应时间段，业务数据根据业务指标就可以关联查询到对应的评估指标，进而可以得到评估得分，最终可以自动汇总数据得到评估报表。以科研项目学科评估为例，计算过程伪代码如下：

SELECT EXTRACT （YEAR FROM Tl.立项日期）AS评估年份

，T4.评估指标体系名称AS评估指标体系名称

，T5.评估指标类型名称AS评估指标类型名称

，T3.评估指标名称

AS评估指标名称

.T2.二级学科名称

AS二级学科名称

，T2.一级学科名称

AS一级学科名称

，T2.学科门类名称

AS学科门类名称

，COUNT（T1.项目编号）AS项目数量

，SUM （T3.评估指标得分）AS评估得分

FROM 科研项目Tl

LEFT JOIN学科T2

ON

Tl.学科=T2.学科编号

LEFT JOIN科研项目评估指标T3

ON

Tl.负责人类型=T3.作者类型编号

AND Tl.项目类别=T3.项目类别编号

AND Tl.项目级别=T3.项目级别编号

AND Tl.项目子级别=T3.项目子级别编号

AND EXTRACT（YEAR FROM Tl.立项日期）BE-TWEEN T3.开始年份AND T3.结束年份

LEFT JOIN评估指标体系T4

ON T3.评估指标体系=T4.评估指标体系编号

LEFT JOIN评估指标类型T5

ON T3.评估指标类型=T5.评估指标类型编号

GROUP BY EXTRACT（YEAR FROM Tl.立项日期）

T4.评估指标体系名称

T5.评估指标类型名称

T3.评估指标名称

T2.二级学科名称

T2.一级学科名称

T2.学科门类名称

该学科评估系统具有如下特点：

（1）快速部署、灵活维护评估指标。只要建立评估指标与业务指标的对应关系，就可以完成业务数据与和评估指标的关联，从而可以快速生成学科评估报表。

（2）支持多评估指标体系，可以同时生成基于不同评估指标体系的评估报表，比较不同评估指标体系下的评估结果。

（3）评估指标中的时间属性满足在不同时间段使用不同的评估指标，达到保留历史评估结果的目的。

（4）通过联机分析（OLAP）功能可以快速计算评估得分并进行多维分析。如可以快速生成基于二级学科、一级学科和学科门类的评估报表。

三、应用实例和应用效果

1.应用实例

本文选取上海财经大学校内评估指标体系中纵向科研项目评估为例，介绍具体应用情况。表1是根据纵向项目业务指标设置的评估指标，每一个纵向项目能找到对应的评估指标。

图4是使用数据可视化工具Tableau开发的纵向项目学科评估报表，通过筛选器可以查看不同年份、不同评估指标对应的评估结果，通过钻取功能可以得到学科门类、一级学科、二级学科的评估结果，达到多维分析的目的。如果有多种评估指标体系，可以同时展现在评估报表内，方便横向比较评估结果。

2.应用效果

科研项目评估篇（6）

2 集团级评估组织体系

集团级评估组织体系的构成及其职责包括以下几个方面。

1）决策机构及其职责。集团级评估组织体系的决策机构是集团公司航天型号工作领导小组，一般由集团总部型号主管领导和相关部门主管领导构成，主要负责评估工作的组织领导和重大事项决策，审批《评估管理办法》和相关规章制度、年度《评估手册》、实施计划和评估报告，以及监督、检查和指导集团级科研生产管理评估工作。

2）执行机构及其职责。集团级评估组织体系的执行机构一般是评估工作组及下设的评估办公室，由集团总部负责航天科研生产管理工作的相关部门组成，是评估工作日常推进的主体，主要负责建立航天科研生产管理两级评估机制，制定评估工作的有关规章制度，明确评估目的、要求、工作程序和方式等；组织编制集团总部对研究院的评估手册；制定集团总部对研究院的评估策划和年度评估计划；组建集团总部对研究院的现场评估组，根据需要对评估组成员进行培训；组织评估实施，监督评估过程，协调评估事宜，审查评估报告和评估结果；通报集团总部对研究院的评估结果和相关情况，开展评估工作总结活动；提炼集团级最佳实践项目，组织开展审查、评定和交流推广活动；组织各研究院对评估识别的共性问题与薄弱环节进行整改，并进行指导与监督；收集、整理、分析评估工作的相关信息和资料，对集团总部对研究院的评估工作实施情况进行定期分析与改进。

3）技术顾问及其职责。集团级评估组织体系的技术顾问一般由中国航天科技集团公司负责航天型号科研生产技术与管理工作的有关领导和权威专家构成，是评估工作的智囊团，主要负责参与评估工作重大决策的讨论与制定，为评估决策机构提供必要的技术咨询；对评估涉及的主要技术内容与方法模式提出建议与意见。

4）评估队伍及其职责。集团级评估组织体系的评估队伍涵盖人员范围比较广，包括集团总部主管职能部门人员、集团内外专家等，在进行现场评估时一般成立现场评估组，负责协助执行机构开展现场评估工作策划；参加执行机构组织的评估培训；协助执行机构收集、整理、分析各研究院上报的评估工作的相关信息和资料；按照现场评估工作策划，提出详细的现场评估实施方案，并开展现场评估工作；起草反馈评估报告及评估报告，提出评估结果建议；配合执行机构开展最佳实践报告的审查活动；配合执行机构定期分析、总结并持续改进评估工作。

5）被评对象及其职责。集团级评估组织体系的被评对象是从事航天型号科研生产活动、交付型号与产品的研究院。由于评估的是研究院的科研生产管理能力与水平，因此，研究院科研生产的主管领导及相关职能机构是具体的被评对象。需要注意的是，集团总部对研究院的评估重点在于考察研究院本级的科研生产综合管理情况，一般不涉及各厂所的科研生产管理工作。在集团级评估组织体系中，研究院作为被评方，主要负责开展自评工作，并按要求提供自评报告；提供评估所需的必要条件和证据材料，积极配合现场评估工作；根据评估结果和评估意见，制定改进计划，及时有效地实施改进措施；按要求提炼最佳实践项目；不断积累评估工作经验，对改进评估工作提出建议。

3 研究院级评估组织体系

研究院级评估组织体系的构成及其职责包括以下几个方面。

1）决策机构及其职责。研究院级评估决策机构一般是指研究院评估工作领导小组，由研究院主管领导及相关职能部门领导共同组成，主要负责研究院级科研生产管理评估工作的组织领导、重大事项的决策、研究院《评估手册》和《评估管理办法》的审批与，以及监督、检查和指导研究院级科研生产管理评估工作。

2）执行机构及其职责。研究院级评估执行机构一般是指研究院评估工作小组，由研究院评估的牵头部门、配合部门的主管领导及相关人员组成，是研究院开展对厂所、项目、产品进行科研生产管理评估活动的策划与实施主体，主要负责制定年度评估实施计划；组织编写、修订研究院《评估手册》，并解释相关内容；组织开展评估培训和宣贯工作；组建现场评估小组，组织对院属有关单位、项目和产品的评估；开展研究院级最佳实践项目的审核、评定，并组织交流推广；收集、整理和分析评估工作的相关信息和资料；通报评估结果和相关情况；组织完成评估工作总结，并对评估工作的具体实施情况进行分析与改进。

3）技术顾问及其职责。研究院级评估组织体系的技术顾问一般由研究院科研生产技术与管理方面的专家构成，是评估工作的智囊团，主要负责参与研究院级评估工作重大决策的讨论与制定，为研究院级评估决策机构提供必要的技术咨询；对研究院级评估涉及的主要技术内容与方法模式提出建议与意见。

4）评估队伍及其职责。研究院级评估组织体系中的评估队伍一般指研究院科研生产管理相关部门、型号项目、厂所的相关专家，按照研究院对厂所、项目、产品三类评估分为三个评估队伍，主要负责对厂所、项目和产品团队进行现场评估，形成现场评估结论；编写对厂所、项目和产品的评估反馈报告。必要时，评估队伍要提前接受培训。

5）被评对象及其职责。研究院级评估组织体系中的评估对象有三类，分别是院属厂所、项目团队和产品团队，主要负责按要求开展自评工作，提供自评报告；提供评估所需的必要条件和证据材料，配合现场评估工作；根据评估结果和评估意见，制定改进计划，及时有效地实施改进措施；按要求提炼最佳实践项目，形成报告或文章；不断积累评估工作经验，对改进评估工作提出建议。

4 两级组织体系之间的相互关系

集团级评估组织体系与研究院级评估组织体系之间既分工明确又彼此关联，一方面，集团级评估组织体系中的评估方在负责对研究院科研生产管理评估的同时，还要负责整个集团范围内评估工作机制的构建与运行，以及指导监督研究院级评估组织体系的科研生产管理评估工作；另一方面，研究院既是集团级评估组织体系中的被评方，又是研究院级评估组织体系中的评估方，保证了集团总部对研究院的管理要求能够有效、顺畅地贯彻到厂所、项目与产品团队中。需要说明的是，这里的研究院特指的是研究院本级。

1）集团级组织体系的工作牵引研究院级组织体系工作。集团级组织体系所开展的计划管理、《评估手册》的研讨与、宣贯培训、现场评估以及总结改进等活动都对研究院级组织体系开展评估工作起到一定的指导和牵引作用。研究院在接受集团总部评估的同时也将集团总部对科研生产管理的要求纳入研究院对厂所、项目团队、产品团队的评估中。

2）研究院级组织体系的工作支撑集团级组织体系工作。集团总部开展对研究院的评估工作需要各研究院率先开展自评，并做好相关准备与现场评估保障工作，集团总部的最佳实践交流、共性问题研讨、年度工作总结、季度例会布置等活动都需要各研究院的大力配合与积极参与。研究院级组织体系承担了上述大量工作，有力支撑了集团级组织体系工作。

3）厂所、项目团队与产品团队具体延伸、落实集团级、研究院级组织体系的评估工作要求。研究院对厂所、项目、产品的评估将集团总部对研究院的评估要求进一步结合被评对象特点细化、分解，具体到每个厂所、项目、产品如何实施科研生产管理工作，是集团级评估的延伸和具体化。厂所、项目团队与产品团队负责具体落实研究院级组织体系乃至集团级组织体系下达的年度计划执行要求、评估识别的薄弱环节改进要求、最佳实践的提炼推广要求等。

4）各研究院科研生产管理专家与主管人员是集团总部评估专家组的主要力量。集团总部对研究院的评估专家队伍包括科研生产管理（含项目管理、产品管理）、质量与可靠性、人力资源、工艺、设施设备、采购、信息化、标准化、安全等方面的专业人员，主要来自各个研究院、厂所、项目与产品队伍。每年集团总部都会要求各研究院按专业推荐适宜的评估专家人选进入集团级评估队伍，支持集团总部的现场评估、研究讨论及总结交流等活动。

5 组织体系的建立与运行

5.1 组织体系的建立

航天科研生产管理评估工作开展以来，以集团总部对研究院的评估为牵引，建立了集团总部对研究院，研究院对厂所、项目与产品的两级评估机制，相应的管理评估组织体系也不断建立健全。

在总部层面，为了规范、有效地开展对研究院的科研生产管理评估工作，应明确评估工作领导组织和技术咨询队伍，建立评估工作组，设立评估办公室，并通过《评估管理办法》规定上述机构及其职责。同时，集团总部按照一定的资质要求，每年选拔一定数量的专家组建评估专家组，并通过组织研讨和交流活动，统一思想、深入认识，确保评估结果的客观与准确。

在研究院层面，集团总部的评估机制建设模式与方法给各研究院开展评估工作提供了有益的借鉴。一般情况下，研究院的组织体系建设是在集团总部管理办法的框架下，通过研究院级评估管理办法或要求，明确研究院评估工作的主管领导、执行机构（牵头部门、配合部门）、评估专家的构成以及各自的职责要求。

在厂所、项目团队、产品团队层面，其作为被评方，在组织体系建设方面，主要是明确具体的被评对象，以及迎接评估的牵头部门与配合部门，开展评估要求的分解落实、评估的准备与接待、评估意见的落实（包括薄弱环节的整改、最佳实践的提炼）等工作。

5.2 组织体系的运行

科研生产管理评估组织体系的运行主要包括以下四个方面。

一是执行机构应定期向决策机构汇报，确保评估工作的主要动态和重大事项在决策机构的掌握中，同时，对于执行机构不能决定的事项请决策机构给予指示。此外，执行机构通过汇报能够充分领会决策机构领导的意图，并落实到评估工作中。

二是执行机构内部应经常协调与沟通，确保在思想认识和行动上保持一致。在年初的评估策划、年度工作会的准备与实施、年中评估例会的准备与实施、《评估手册》的研讨、评估方案与计划的研究、评估结论与考核结果的确定等方面，执行机构涉及的各部门均要共同参与，共同商议并形成一致意见。这里应特别注意，在执行机构内部的分工上，评估要素/子要素如何分配，牵头部门与配合部门必须要充分沟通，牵头部门需要合理分配要素/子要素，并提出明确、具体的要求，同时充分尊重配合部门意愿并沟通达成一致；配合部门需要在接受要素/子要素之初就认真学习相关评估标准与制度要求，保持与牵头部门的联系，同时做好本部门负责的要素/子要素的策划、推进与自评工作。

三是执行机构与被评对象应经常交流与研讨，充分吸收各方意见，了解被评方的需求和难点，将评估目的和意图充分传递给被评对象，确保双方在对评估目标的理解、评估要求的认识、评估资料的准备以及评估工作的改进等方面都能保持一致。

四是应持续开展评估专家队伍建设。执行机构针对每年《评估手册》的变化，针对新加入评估队伍的专家要开展年度评估培训，提高评估专家队伍水平，通过培训考察、选拔现场评估专家，同时通过培训保证评估工作的专业性和评估结果的准确性。

6 评估专家队伍建设

为提高评估专家队伍建设的规范性、科学性和有效性，应当开展评估专家队伍的资格管理工作。按照“统一管理、分级实施”的原则，集团总部应统一明确评估专家队伍的培训、考试、发证以及注册管理等方面的基本要求，并对从事集团总部对研究院评估的人员实施资格管理；研究院应按照基本要求细化、明确并实施对厂所、项目、产品评估人员的资格管理，并报集团总部备案。

6.1 资质条件

组织级、项目级、产品级管理评估专家队伍在资质条件上，需要满足以下三条基本要求。

1）遵守中华人民共和国法律法规，没有违法犯罪记录。

2）具有秘密级及以上的保密资质，没有重大失密泄密记录。

3）具有高级工程师及以上的专业技术职称。

此外，组织级管理评估人员还应满足以下条件。

1）从事航天科研生产综合管理或项目、产品管理工作满10年（含）以上，熟悉航天科研生产的各项技术、管理规章制度。

2）具有航天型号市场开拓、综合计划管理、多项目风险管理、质量管理、售后服务以及能力提升等一个或多个方面的工作经历。

3）掌握评估、评奖的基本方法与程序要求，熟悉国内外典型的成熟度评估理论与方法。

项目级管理评估人员还应满足以下条件。

1）从事航天型号技术或管理工作满10年（含）以上，熟悉航天型号研制生产全过程、全要素的工作要求，熟悉航天系统工程管理、产品保证、技术状态管理等方面的内容。

2）具有航天项目范围管理、进度管理、经费管理、质量管理、沟通管理、风险管理、采购管理、集成管理等一个或多个方面的工作经历。

3）掌握项目管理评估方法与程序要求，熟悉国内外典型的项目管理大奖的评估理论与方法。

产品级管理评估人员还应满足以下条件。

1）从事航天型号、产品技术或管理工作满10年（含）以上，熟悉航天项目、产品研制生产全过程的工作要求，熟悉产品工程建设的内容与要求。

2）具有航天产品综合管理、产品工程管理、产品保证过程和产品售后管理等一个或多个方面的工作经历。

3）掌握评估、评奖的基本方法与程序要求，熟悉国内外典型的项目管理评估方法与成熟度理论。

6.2 认可程序

评估专家队伍应由符合条件的人员按程序要求向评估主管部门提出申请，通过申请审核以及后续培训考核的人员才能成为正式的评估专家。集团总部对研究院的评估专家，以及研究院对厂所、项目、产品的评估专家在认可程序上基本一致。

申请集团总部科研生产管理评估专家的程序如下。

1）填写申请表。

2）申请表应经本单位人力资源管理部门审核批准，由研究院人力资源管理部门确认后上报集团人力资源部。

3）集团人力资源部组织专家对申请人的条件进行审核确认。

4）符合条件的申请人应参加集团总部统一组织的科研生产管理评估培训和考试。

集团总部主管部门应组建培训师资队伍，依据中国航天科技集团公司科研生产管理的最新要求和管理评估的模型方法编制培训教材，建立试题库，审定考试科目和试题。集团总部科研生产管理评估w专家考试采用闭卷笔试和面谈审定的方式，考试合格的人员由集团总部颁发“中国航天科技集团公司科研生产管理评估专家”资格证书。

6.3 注册管理

取得资格证书的人员应按要求进行年度注册登记。首次注册登记时间为取得资格证书的第二年，以后每年都应重新注册登记。集团总部对研究院的评估专家，以及研究院对厂所、项目、产品的评估专家在资质注册管理上也基本保持一致。

集团总部科研生产管理评估专家的注册登记工作由取得证书的评估专家首先提出申请，申请时应满足以下条件，并提供相应的证明材料。

1）取得“中国航天科技集团公司科研生产管理评估专家”资格证书。

2）按要求参加继续教育，完成必修项目，学分满足要求。

3）年内参加不少于6个工作日的科研生产管理评估工作。

对于以下三种情况，其资格证书自动失效：一是在岗位工作中，造成质量事故和重大质量问题；二是脱离工作岗位，无法正常工作连续两年以上；三是未按要求进行注册登记。

科研项目评估篇（7）

分类号 G259.712

Study and Inspiration of IMLS’s IRDL Project

Chen Yang

Abstract IRDL project aims to build up librarians research confidence through research training， construct a research environment for subject librarians and other researchers. IRDL project proved the improvement of 25 librarians’ research confidence by joining summer workshop. This project also gives some inspiration for domestic libraries.

Keywords Research confidence. Research literacy. Training evaluation.

科研第四范式环境中，在信息与网络技术迅速发展的推动下，大量从宏观到微观，从自然到社会的观察、感知、计算、仿真、模拟、传播等设施和活动，形成了大数据这一新科学基础，大数据不仅是科研学术者实时监测和分析的对象，更是其思考、设计和实施科学研究的基础。人们利用泛在网络及其内在的交互开放性，利用海量数据的可知识对象化、可计算化，构建基于数据的、开放协同的研究与创新模式已全面开启[1]。科研第四范式给图书馆带来了新的转型机遇，上海图书馆馆长、中国图书馆学会理事长吴建中在“全球化视野・大学图书馆馆长论坛”主旨报告中曾指出，国际研究表明，大学图书馆正从收藏为中心向数字化与合作交流为中心转型，未来的图书馆仍是大学心脏，但激活大学的动力不再是图书馆，而是包涵图书、数据、图表等在内的知识和激活知识交流的创造型空间，大学图书馆需要通过科研数据管理服务逐渐嵌入科研流程[2]。吴馆长在报告中还指出，国内图书馆的数字化转型及科研嵌入举步维艰，而在美国已约有20%的高校图书馆开设了科研数据管理服务，且开设比例在两年内有望上升至40%[2]。显然，面对科研数据管理、科研嵌入，国内图书馆准备不足，而要实现与科研流程的深度嵌入，图书馆必须制定科研嵌入战略规划并进行整体评估。同样，科研嵌入服务对馆员素质能力提出了更高标准，新一代馆员应在具备本领域数字化科研活动能力的基础上，熟悉科研流程及数据管理，积极嵌入其他领域的科研活动，提供服务支持。IRDL（Institute for Research Design in Librarianship）便是国外馆员科研素养培育的代表项目之一，2013年，劳拉・布什21世纪图书馆计划下属IMLS研究所向洛约拉马利蒙特大学的Kennedy，Marie及Brancolini，Kristine颁发资助， IRDL项目正式进入实践阶段。

1 IRDL项目的背景和目标

早在2010年10-12月，Brancolini与Kennedy便展开了一次针对高校图书馆员的科研服务评估调查，调查以在线问卷形式收集了高校馆员对科研活动开展及支持服务所持态度、参与情况、能力感知等方面信息，具体包括：（1）现阶段的研究及科研支持服务实践（包括学术论文阅读研究实践）;（2）开展科研活动、提供科研支持服务信心的自我评估情况;（3）曾经参与的科研活动及服务支持培训课程;（4）院校对图书馆科研活动及科研支持相关统计数据[3]。通过调查，Brancolini与Kennedy发现，馆员科研活动信心程度能够显著预测其科研实践及科研支持服务开展的成功与否，于是在2013年，Brancolini与Kennedy申请劳拉・布什21世纪图书馆计划项目基金，希望借助IRDL项目为高校及学术型图书馆馆员打造科研学习平台，学习、交流科研活动经验，提供科研服务网络化支持。

基于项目目标管理原理，Brancolini与Kennedy制定了涵盖战略目标与阶段性目标的IRDL项目目标体系。（1）战略目标，即总目标。不断提高具备科研能力、科研技能及科研素养的新一代科学馆员人数，具体解决馆员如下科研性需求：①为馆员科研及科研支持活动营造良好的环境氛围;②指导馆员科研及科研支持中流程设计、服务设计活动的开展;③鼓励馆员通过出版或PPT等形式，在促进业内学术成果传播的同时积极带动扩大其他学术领域的成果传播;④为馆员科研及科研支持活动实施流程的每一步提供清晰的指导，增强馆员开展科研及科研支持活动的信心和能力。（2）阶段性目标，即分目标。包括：①在暑期举办为期9天的培训研讨会，通过大纲课程讲授及一对一咨询方式培育馆员的科研技能及素养;②其他辅活动，如研讨会准备、评估、追踪工作等有助于馆员科研能力培养的持续性支持活动的开展[4]。

2 IRDL项目的实施步骤

2.1 项目的培训流程

IRDL项目以夏季研讨会的形式于2014年正式开启，面向学术馆及研究型馆员广泛征集参与者。项目要求参与者满足以下条件：（1）必须为科研项目主持人，且主持项目将于2014―2015学术年度内完成;（2）参与者对所主持项目已经拟定初步计划，但缺乏完成项目的信心及开展研究的辅支持。经统计共有87名学术馆员提交科研及科研支持项目计划书，申请参与夏季研讨，通过层层筛选，项目组最终确定25人进入研讨实战环节。IRDL研讨会核心组成部分为面向25个学术馆员、为期9天的bootcamp（集中式训练营）。培训目标在于构建一套培育馆员科研工作开展能力、符合成本效益原则、可持续化的发展模式。bootcamp中，两名经验丰富的社科研究专家将传授馆员如何开展科研设计、为科研计划的顺利开展创造条件。培训形式包括：（1）密集式课堂培训及练习;（2）科研流程相关写作实践课程。在9天的集中培训及后续科研项目实施中，IRDL还将通过社交网络工具（IRDL项目Wiki及Blog网站）持续为25名馆员提供追踪及培训支持服务。主要培训内容包括：（1）科研时间管理，如何通过时间的合理安排开展高效的科研活动;（2）科研系统性流程规划设计及流程中各步骤的有效衔接;（3）科研数据采集方法及分析方法[3]。

2.2 项目的评估流程

2.2.1 评估计划

IRDL项目评估计划分为内部、外部2类评估。内部评估具体涵盖4个维度：（1）项目组以打分形式对25份初次及再次提交科研计划的对比评估（25位研讨参与者在bootcamp结束后将对先前提交的科研计划进行完善）;（2）社交网络使用情况评估分析;（3）研讨参与者对科研教学大纲的掌握程度，包括培训前及培训后两次测试形式的评估;（4）研讨参与者科研项目执行信心的评估，同样包含以调查形式展开的培训前/培训后评估。外部评估是指由聘请自科罗拉州立图书馆的专家开展的面向bootcamp指导者及受训者的访谈式调查，调查为期3天，目的在于厘清以下4个问题：（1）由受训者确定的促进其培训学习的相关因素;（2）来自受训者的培训需求及建议;（3）受训者的培训体验及感知;（4）改进建议[4]。在多层评估内容中，IRDL项目组认为馆员科研信心评估占据着极为重要的地位与作用，这是因为：其一，早在2010年，Brancolini与Kennedy的研究便揭示了科研信心与科研实践成功的关联性;其二，科研信心评估系统经过数年的发展，业已形成较为完善理论体系及实践工具，从而能够充分保障评估结果的科学有效。

2.2.2 科研信心评估

馆员科研信心评估以问卷调查形式展开，评估目标体系包括：（1）通过馆员对科研具体步骤及具体领域的信心调查，明确其科研活动开展的弱势领域及培训需求，便于项目组培训重点及培训内容的设计和完善（培训前评估）;（2）确定馆员通过IRDL夏季研讨的参与，在逐步完成科研进程方面的信心是否有整体性提升（培训后评估）。整个评估体系可简要概括为“5级程度、8大领域及38个问题”，其中5级程度是指信心评估的评分方式，分别是：1表示毫不具备信心;2表示稍具信心;3表示具备一定信心;4表示具备信心;5表示非常有信心。8大领域、38个问题阐释具体如表1所示。

表1 IRDL科研信心评估领域及问题分布表[4]

3 IRDL项目取得的成果

3.1 计划评分及专家建议

经过对25名馆员项目计划培训前及培训后的评分对比，项目组发现，每位馆员对科研项目的规划、写作能力均有质的提升，整体评分呈现大幅度增长态势。而外部专家通过对课程指导者及培训参与者的调查，总结得出如下反馈建议：（1）时间问题是馆员开展有效科研活动的主要障碍之一，由于时间限制，一些馆员无法将规律性检索文献、跟进最新科研成果作为其日常工作的组成部分，因此科研素养、科研习惯的养成及科学的时间管理及统筹是今后馆员培训的重点，同时图书馆还应呼吁院校为其提供更为宽松的科研氛围，如足够的时间、良好的继续教育/晋升机制等;（2）在科研文献阅读中，馆员使用频率最高的3类刊物依次为《College& Research Libraries》《The Journal of Academic Librarianship》《Library Resource& Technical Service》;（3）完善的IRDL培训大纲体系应涵盖课程目标、科研问题/假设提出、相关文献综述研究、科研数据采集/分析/管理、科研成果交流传播等科研整体化流程[5]。

3.2 研讨参与者反馈意见

参与者反馈意见大多集中于具体的科研培训领域，表现为：（1）要求指导者具体解释各类数据采集方法背后的逻辑概念及特定方法的适用范围、选择理由;（2）学习如何针对不同的科研项目制定适合的样本选取策略;（3）培训如何设计、实施科研实践调查，以及调查数据的分析、管理;（4）掌握科研设计的基本原则及多种方法;（5）懂得如何选择合适的途径开展科研活动、成果的合作、交流及传播;（6）培训如何有效地撰写及表述完整的科研报告[6]。

3.3 研讨前后馆员信心程度对比分析

3.3.1 培训前后馆员信心总体对比

参与者培训后在38个问题的评分上较之培训前有显著提升。培训前，25位馆员科研信心评估均分为91.16，而在参与培训后，该得分上升至144.52，经SPSS软件分析，P值小于0.0005，证明参与者在培训前后的信心程度存在显著性差异。

3.3.2 培训前后馆员信心明细对比

评估结果显示，培训前评估单个问题的信心评分介于1.28～3.8，培训后这一数值则介于2.72～4.48。就明细项目来看（见表2），培训前无论是得分较低还是得分较高的项目在培训后均有明显改善：（1）培训前馆员低信心领域，Q5.4/Q5.3/Q4.8等，均分从培训前的1.584上升至培训后的3.304;（2）培训前馆员较高信心领域，Q3.4/Q6.3/Q3.3等，均分从培训前的3.568上升至培训后的4.312。

表2 IRDL馆员信心评估对比分析表[4]

3.3.3 培训前后馆员信心显著提升项目

培训前，馆员对38个问题的评估分均低于4，几乎对所有科研步骤均不具备信心，而在培训后，25名馆员在11个问题领域的均分高于4，其中6个问题的信心提升尤为显著，分别为：Q1.1（将讨论话题转化为科研课题）的2.96～4.08;Q1.3（确定科研课题相较于相关文献具备学术建树）的2.8～4.16;Q2.2（通过相类似科研项目的研究检验自身科研方法的正确性）的3～4.4;Q2.3（针对科研问题设计相应的科研流程）的2.28～4.24;Q3.2（使得科研成果成为现有相关文献的有力补充）的2.92～4.04;Q6.2（掌握传统社科期刊文献的基本结构及元素）的2.32～4.16[4]。

4 IRDL项目带来的启示

4.1 注重馆员科研素养培养，营造充满活力的科研环境

对研究型大学及学术性机构而言，图书馆不仅仅是作为资源内容的供应商，而应成为机构内整个学术研究与学习的重要参与者和推动者[7]。无论是作为科研活动的参与者还是推动者，新世纪的馆员均应具备基本的科研素养，具体表现为：（1）对科研流程设计、科研具体步骤的掌控能力;（2）有规律地阅读科研文献、以科研创新视角提出学术课题、开展研究的技能和素养;（3）科研数据生命周期视角下的数据采集、管理、分析、复用、存储、传播能力。图书馆应通过馆员科研素养的培育，从关注馆员工作到关注学者工作，营造一个以学科馆员、科研人员为中心的充满活力的研究环境，该环境中，馆员不仅具备积极推进领域内科研进程的素质和能力，还将通过科研数据管理、科研流程嵌入支撑和促进其他学术领域的决策参考和研究探索，构建“用户为本、需求驱动、嵌入科研、服务创新”的科研支持服务新模式。

4.2 构建全方位的培训体系，整体提升馆员的科研信心

Brancolini与Kennedy在2010年的调查研究证明了科研信心在促进馆员科研进程、取得科研成果中所起到的关键作用，科研信心是开发馆员科研潜能、培养馆员科研兴趣、强化馆员科研技能的必要前提及核心要件。图书馆应通过全方位科研培训体系的构建，增强馆员科研信心及能力，为科研及科研支持活动的开展源源不断地输送具备充分信心、高技能的馆员人才。全方位的培训体系应具备以下特征：（1）整体性原则，培训内容应覆盖科研活动开展的全过程;（2）细致化原则，培训内容应尽可能地细化，将单个科研环节分解为一系列的科研实施步骤;（3）实践化原则，培训大纲应突破理论范畴并侧重馆员实践动手能力的培养，如实地调研、设计焦点小组研讨、科研报告写作等实践能力;（4）科学实证化原则，培训还应涉及科研方法体系、调研实践工具体系、数理化统计分析、数据管理/分析工具体系相关内容的普及和应用。

4.3 开展科学化的科研评估，实现培训模式可持续发展

科研项目评估篇（8）

关键词：科技项目；后评估；必要性；建议

随着我国社会生产力的提高，科技水平也在不断提高，对科技投入力度较大，社会公众不仅关注科技投入的增长，更加注重科技投入的效果。因此多个省市也陆续开展了科技项目评估，科技项目是以政府对科技的投入，而开展科技项目后评估工作是对科技投入进行绩效评价，是事后评价的一种方式，也是对社会组织及成员的科技资源配置，对预期效果及绩效评价的一种特殊的科技活动形式。具体是对以验收的项目进行后续评价[1]。但现行的科技项目管理制度缺乏对绩效评价工作的管理，在科技项目评估中主要集中于一些常规阶段，如事前立项、中期检查及项目结题等，因此开展科技项目后评估工作的研究十分必要。

一. 开展科技项目后评估工作的必要性

（一） 科技投入绩效评价

随着科技投入比重的不断增长，社会公众及政府部门对科技投入的绩效评价工作也更加重视。科技项目作为政府部门对科技投入的重要项目，在科技投入中对主体进行科技管理和绩效考核的重要依据。但在实际中，不论开展任何科技活动都会存在科技产出，从而产生一定的社会效益和经济效益，尤其是在科技项目初步出产生成果的阶段中，在项目完成后对其经济效益与社会效益进行评估，不利于对项目绩效客观产生客观的反映[2]。科技项目后评估工作是对科技投入进行绩效评价的重要形式，而科技项目后评估工作的开展有利于提高政府决策水平，使各个投入主体在科技计划的制定中有章可循，有据可依，促进项目结构设置的科学化，经费投入也更加合理，从一定程度上避免了经费投入的盲从性。

（二） 确保项目管理流程的完整性

在项目管理过程中，对科技项目的前评估工作与后评估工作共同组成项目的评估活动。而在科技项目生命周期和科技项目管理阶段中，后评估工作是科技项目管理工作的末端，与中期检查、立项评估、选题论证等工作组成科技项目管理的全过程和全内容。根据我国科研评价活动的发展方向来看，科研评级逐渐向法治化和规范化方向发展，部分地区已经建立起科学化和规范化的科技项目管理制度，在事前立项、事中执行和项目结题验收等工作已经实现程序化和常规化。随着科研评价工作的发展，社会各界对科技投入绩效评价工作引起了更加广泛的关注，对科技项目后评估工作也受到了关注与业内人士的研究，并获得了一系列理论性成果，积累了一定的实践经验。

二. 开展科技项目后评估工作的建议

（一） 以重大项目作为科技项目后评估的切入点

由于政府对科技项目投入的性质不同，所呈现出的特点也不同，因此对科技项目需要进行分类型评估，根据科技项目不同的特点，选择合理的评价方法、评价标准和评价程序，还要注重评价的实际效果。根据当前对科技项目的自主情况，我国投入的科技经费中有相当一部分是用于对重大科技项目的自主，而这些重大科技项目的经费投入具有关注度高、资助额度大、影响广泛等特点[3]。虽然有多个项目已经完成验收或解题，但在项目完成后，科技项目的运作情况，及对行业产生的影响及带动效应，后续社会经济效益等情况并未进行系统性的考察与评价。因此现阶段对科技项目的后评估工作，要注重与对重大项目或某些技术领域中的专题专项项目展开评估工作。

（二） 加强信息平台建设，实现信息共享

建立完善的科技项目后评估反馈机制，加强信息平台建设，实现信息共享。有关部门在采集评估信息、评估方法及评估指标体系中需要注重其协调性，构建统一的信息评估网络，否则在评估资料的搜集中会出现重复劳动的现象，项目承担单位的工作量大，因此需要加强科研数据采集网络与信息评估网络共享平台的建设，便于在绩效评估中对不同阶段的评估资料进行获取，避免了对评估资料重复获取的现象，同时也提高了搜集信息的公信力，使评估工作更加的科学化和规范化。

结语：

开展科技项目后评估工作存在一定的困难和复杂性，但却具有重大价值和社会现实意义。我国目前对科技项目后评估工作仍处于理论和实践探索的阶段，科技项目后评估工作作为项目管理的重要内容，在项目后评估工作中应在实践过程中不断探索，积累经验，通过科学工作者、社会公众及政府部门的共同努力，促使科技项目后评估工作的规范化和科学化。

参考文献：

科研项目评估篇（9）

在1990年至1997年期间，澳大利亚研究理事会（australian research council，简称arc）对其在数学科学、物理科学、化学科学、生物科学、地球科学、 工程与应用科学、社会科学和人文学科等8大领域中发挥重要作用的24个学科的5年资助工作开展了绩效评估，评价其“分配资源的管理工作”是否有效[3]。与此类似， 在1999年至2002年，英国研究理事会（research councils uk，简称rcuk）下属的英国生物技术和生物科学研究理事会（biotechnology and biological sciences research council，简称bbsrc）也对其资助的一些学科开展评估工作，如生物化学工程，结构生物学，可持续农业等，评估侧重在如何保持英国未来的国际竞争力，确定该学科未来十年的发展战略，并且为bbsrc在学科的发展作用中定位，确定政府将来的重点投资方向。以科技实力著称于全球的美国一直非常重视科研的评估工作，美国基础科学研究的主要资助机构——美国国家科学基金会（national science foundation，简称nsf）也开展了类似的学科评估工作。他们对其支持的一些重大研究计划，如海洋研究计划，地震减灾计划等多年来的工作进行了回溯性的评估。通过评估帮助国家科学基金会下属的一些机构，向他们提供必要的工具和信息，以使得这些机构最大限度地减少资助决定对科学界产生的负面影响，使之能继续保持像过去那样取得高水平研究成果的能力，并且分析nsf在支持该计划中所取得的成就，存在的问题以及未来的支持重点。

本研究在上述三个国家科研资助机构开展的学科评估工作基础上，对学科评估的目的与范围，组织与结果以及方法等相关问题进行了讨论，并结合我国的具体情况提出了学科评估对我国科研管理工作的启示。

2　学科评估的目的与范围

2.1　目的

学科评估的目的从总体上来说，主要是指科研资助机构通过对学科的评估活动最终希望获得学科状况的整体结果，属于宏观层面。从目前已开展的学科评估活动来看，可以区分两种类型的学科评估：一类是诊断性的学科评估，主要通过学科评估来了解学科目前的现状和科研管理中存在的问题，并对解决这些问题提出建议。如澳大利亚研究理事会开展的学科评估，其目的就是对arc大额类型项目支持下的项目开展研究结果独立评估，考察在这一特定的学科领域进行研究的个人和研究小组的成果及其影响力，既评估arc大额资助项目的产出状况，同时还对澳大利亚研究理事会具体的科研管理过程包括同行评议、项目申请等细节问题进行评估，以便进一步加以改进[4]；另一类是战略性的学科评估，即以学科评估为手段，了解学科目前的国际发展趋势和本国所处的地位，为学科在未来若干年内的发展确定战略计划。如英国研究理事会开展的学科评估，在对英国“结构生物学”的需求评估中，委员会要求评估工作侧重在如何保持英国未来的国际竞争力[5]；而在对“生物化学工程”的学科评估中，其评估目的是建议bbsrc 理事会必须适合生物化学工程新的使命，并且建议理事会制定该学科未来十年的发展战略[6]。应当注意，学科评估的这两个目的并不是绝对分开的，通常这两个目的在每个学科评估中都有体现，只是在具体的评估过程中有一个目的占主导地位而已。相对于学科评估的目的，其评估目标则比较具体，主要是指在评估单个学科时的具体目标是什么，属于微观层面。由于学科之间的差异，同一科研资助机构在开展评估活动时可以有一个统一的目的，但对每个具体学科的评估目标则不尽相同。总体来说，学科评估的目标应注重其引导性与概括性，既要包含学科的当前研究和培训概况；也要重视与其它学科的合作关系以及学科的资助模式变化等。

2.2　范围

学科评估的内容直接指向学科本身，即学科的整体产出和综合影响力，以科学分类中的学科作为一个评估单元，通常指的是一类相关的科学研究领域。它并不关注具体的机构和人员，但在学科评估中又离不开机构和人员，它是在相关机构和项目负责人的基础上开展起来的，只是最后将这些结果综合起来分析和考虑。学科评估的范围包含两层涵义，一是指评估的时间范围，二是指评估的学科研究领域范围。如澳大利亚研究理事会对“天文和天体物理学”评估的时间范围是选择在1988—1992年之间，涉及到arc资助的21个科研项目。学科研究领域范围包括地球物理学、大气物理学、天文学和天体物理学[7]。而美国科学基金会对“地震减灾计划”的评估范围确定为以下研究领域：结构工程、地理技术工程、建筑和机械系统和与地震有关的社会科学；其评估时间跨越很长，从第一个资助计划（1958年）一直到最近的研究计划，评估小组将其分为四个阶段逐一考察[8]。学科评估的范围界定是开展学科评估的前提条件，一般由评估小组和科学共同体一起协商确定。只有将评估的范围界定清楚了，其后的评估工作才能得以顺利展开。

3　学科评估的组织与结果

3.1　组织

学科评估是科研资助机构为达到了解所资助学科的发展状况和科研管理机制中存在的问题以及确定学科今后的发展战略等目的而提出来的，因此学科评估的组织一般由科研资助机构主导。科研资助机构邀请一批该学科领域内的国内外知名专家，利用已有的数据积累，采用一定的方式、对若干年来在其资助下的某个学科所取得的研究产出和综合影响力进行评估，并进而对科研管理过程中存在的问题和该学科今后的发展战略提出政策性建议。学科评估的组织涉及到大量的人力物力，总体上包括三个阶段：1、基础准备阶段：主要任务是根据学科评估的目标确定评估方案和评估指标；2、数据（资料）收集阶段：根据已确定的评估方案和评估指标， 收集准确的相关资料，开展预定的评估活动；3、数据（资料）分析整理阶段：将收集到的数据和信息通过整理分析，形成整体的学科评估报告。

3.2　结果

学科评估工作结束后，评估小组要将结果整理成一份报告递交给科研资助机构，有关部门选取合适的内容向科学界和公众公开学科评估的内容。并及时收集评估对象、科学界和社会公众的反馈意见，根据评估小组所提的建议及时调整科研资助机构的政策和具体的管理工作，提高科学基金管理工作的效率。如澳大利亚研究理事会的学科评估报告分为公开文件和保密文件两个部分，公开文件中省略涉及个人或具体项目的陈述；保密文件则有相关的详细信息，只提供给arc的少数相关人员。公开的评估报告也包括两部分内容，第一部分是评估专家组提供的可公开的评估报告，第二部分是arc对评估报告的回应， 尤其是针对评估小组提出的政策建议予以逐项答复。因此，评估的过程既是arc了解其资助绩效的过程， 也是改进其政策和管理工作的过程。英国bbsrc对学科的评估工作完成后整理成文向公众展示学科取得的成果，以及未来学科发展的重点方向和资助的优先领域。如bbsrc 在对可持续农业的评估完成后立即确定了该学科三个重点资助的优先领域：创新农业实践、新型玉米体系和环境管理生态学[9]。

4　学科评估方法 科技评估的方法主要分为三类：定性方法（同行评议）、半定量方法（回溯法或案例研究）和定量方法（文献计量方法和经济计量方法）[10]。其中同行评议使用最多，然后是非定量的案例研究，而纯定量方法相对使用较少。在实际的评估过程中还可以是以上几种方法的综合运用。通常对基础研究的评估经常用到同行评议，对一些大型的、有多种评估对象和目标的计划则往往要综合运用多种评估工具和手段。本文所论述的学科评估就需要运用多种评估方法，主要有以下几种：

4.1　定量分析

定量分析方法中较常用的一种就是投入—产出分析方法，其特点是简单明了。通过对一定时期内某个学科的经费投入分析，可以了解该学科获得的资助力度。当然，对某个学科的投入是多元的，学科评估主要关心的是政府经费的投入状况。同时，学科的产出比较复杂，它既包括显性的结果如出版物，也有隐性的结果如对科学文化、社会经济进步的贡献等。一般来说，对学科评估简单的产出分析就是用正式发表的论文作为一个指标，在学科评估小组指定的数据库或刊物中，检索出一定时期内在科研资助机构的资助下发表的论文数量有多少。再进行纵向和横向两方面的比较，可以得出该学科在若干年来的发展概况，在全球的总产出中占多大的比例，其国际影响力是增加还是减弱。如bbsrc在对“结构生物学”的评估中， 首先分析了英国对“结构生物学”的投入情况，然后对“结构生物学”的产出作了文献计量分析，由城市大学的信息行为和评估研究中心利用研究产出数据库rod和isi，再加上评估小组协商后增加的三种刊物，对英国在1990至1999年发表的论文进行了文献计量分析。结果发现：过去的10年中，英国的结构生物学产出有明显增长，该领域英国对全球的贡献比例从8％上升到12％；其中剑桥、牛津和伦敦大学是该时期内结构生物学研究产出的主力，它们三者的论文在1990年至1999年占了英国总论文产出的40％[5]。

4.2　会议研讨

由于学科评估涉及的科学研究领域一般都比较广泛，对于学科目前的发展状况及存在的问题科学家最有发言权，因此召开科学家之间的会议就成为必要。让科学家畅所欲言，发表他们对学科发展的看法，对改进管理机制提出建议，明确学科今后发展的重点和方向。如果是与技术联系紧密的学科，还可以邀请学术界和企业界的专家一起共同研讨，讨论学科的研究成果如何尽快转化为生产力，也可以明确市场的需求，为下一步的研究确定方向。bbsrc在对“生物化学工程”的评估过程中，1998年9月8日由化学工业协会组织，在英国伦敦召开生物化学工程科学家会议，大约有50人参加，都是英国学术界和企业界的生物化学科学家。讨论诸如：生物化学工程研究的目前状态如何？未来发展方向怎样？未来生物化学工程的培训需求怎样？新出现的技术是什么等问题[6]。

4.3　实地走访

通常每个学科都会有自己的重点实验室或者重大仪器设施基地，这些部门是学科发展的基础，也是科学研究资助机构支持的重点，它们的运行情况在很大程度上影响到学科的发展。因此在学科评估过程中评估小组都会到重点实验室或重大设施基地进行实地考察，分析对它们的支持力度是否合适，研究产出是否达到要求，接下来应该如何对它们进行资助。除了走访本国的重点实验室或相关部门，学科评估中往往还需要走访其他国家的类似实验室或相关部门，以此做一个比较，了解自身的优势以及存在的不足等问题，同时拓宽本国科学家的研究视野，为今后的国际合作打下良好的基础。澳大利亚研究理事会在对“天文学和天体物理学”的评估活动中，评估小组走访了帕斯、阿德雷德、霍巴特、墨尔本和悉尼等地的相关实验室，对涉及21个不同项目的17位受资助者进行了访谈[7]。bbsrc在评估“生物化学工程”过程中，bath大学的john howell教授组织了一批年轻的英国化学／生物化学科学家走访了美国相关的部门，以此比较两国的研究状况和拓宽年轻科学家的视野[6]。

4.4　问卷调查

调查问卷是学科评估中使用最频繁的一种方法，几乎每个学科评估都曾采用过。调查问卷一般是面向大型项目的主持人或相关人员及重点实验室的负责人发放，通过他们了解本学科在国际上的影响力如何，科学研究资助机构的资助程序是否合理，经费是否充足，能否及时地开展研究工作，学科发展对于社会的贡献如何，今后的学科发展战略目标是什么等问题。arc在对“大气和海洋地理学”进行评估时，向arc大型项目负责人发放了一份问卷，包括两部分内容：第一部分（普通信息）包括个人和职业信息，如姓名、所在单位、最高学术资格、获得最高学历的时间、开始科研的时间、目前的职位等，也要求列出研究职业中的出版物数目、同时要向他们了解申请不成功的项目并且说明是否从其他什么地方得到资助，以及他们未来的研究方向，今后是否继续申请arc的项目等问题。 第二部分主要包括申请到的项目的一些具体信息等内容[4]。

4.5　信息收集

随着通讯技术的迅速发展，网络成为人们工作的有力工具。在学科评估中，通过网络可以收集社会方方面面的信息，可以汇集除了本学科领域内的专家以外的一些社会人士对该学科的看法以及发展意见，进一步全面了解学科的状况。澳大利亚研究理事会在对“天文学和天体物理学”的评估活动中，为了从更广泛的渠道得到的信息，在《校园评论》上广告，类似的信息还通过电子邮件发给澳大利亚天文学会会员，希望通过这两种方式有更多的人参与讨论和评估[7]。nsf在对“重大海洋研究计划”的评估中，也在互联网上发放问卷，了解诸如以下的一些问题：海洋学重大研究计划已经带来对海洋认识的显著增加吗？海洋学重大研究计划已经为你提供了研究中使用的其他研究设备和设施吗？并且还通过问卷收集各界人士对海洋学重大研究计划的建议措施。

4.6　国际比较

对学科的评估不能只是在纵向进行比较，横向的国际比较往往更加重要。学科评估中不仅要了解本学科在国内的发展状况，同时也要清楚该学科在世界上的整体概况，从中了解学科今后发展的趋势，明确本国在该学科今后的发展占据什么样的地位，进而确定一些优先发展领域，保持本学科在世界上的竞争力。如bbsrc 在对“结构生物学”的评估中评估小组经过调查分析认为，在当前的世界上“结构生物学”有三种不同的发展路线，分别是：基于整体基因的方法（结构基因）、基于系统和加工的方法、个体目标（individual targets）。目前美国、日本和欧洲主要的研究集中在“结构基因”方面，其它的研究方向散见于其他的一些国家[5]。

5　启示

我国目前对科技经费的投入力度越来越大，经费的使用效率也越来越受到关注[12]。如何有效的利用科技经费，使之达到最大的效益产出，更加合理有效地对基础科学进行绩效评估，是科研管理工作者应该思考的问题。通过以上介绍的国外科研资助机构的学科评估，我们可以从中获得一些重要的启示与借鉴。

5.1　学科评估是提高我国科学基金使用效率的重要手段

科研资助机构通过开展学科评估工作，可以了解学科发展和科研管理工作中存在的问题。通过对这些问题提出解决方法和建议，有利于提高科研管理工作的效率，使得资助方法和模式更加科学有效，也使得有限的科学基金能发挥出最大的效益。我国的科研管理部门开展过许多类似项目评估和人员评估的工作，取得一定的成效。但是，学科评估针对的是学科整体的发展及基金管理机制等问题，是在整体上把握科学基金资助工作的绩效和管理工作概况，具有项目和人员评估等方式无法触及的角度和深度，是一种值得借鉴的方式。通过学科评估工作可以了解我国科学基金对学科发展所起的作用，以及明确目前的基金项目评审和管理过程是否科学有效等问题，从而提高我国科学基金的使用效率。

5.2　学科评估是制定我国学科规划和发展战略的基础

科学研究必须体现国家的目标和需求[13]。在学科评估中可以了解该学科目前的国际趋势和本国的发展状况以及未来的需求，为制定学科规划的发展战略打下基础，从而引导学科的发展为国家目标服务。目前我国开展的科学研究绩效评估存在一定的问题，主要是过于强调微观的、针对研究人员个人的评价，而宏观的评价不足[14]。学科评估本质上是一种宏观评价，并不过多考虑细节，而是分析学科的综合影响力，注重学科的发展战略等问题。因此，在我国开展学科评估可以拓宽我国科研人员的视野，明确国家的需求和目标，同时也为国家制定学科规划的发展战略打下坚实的基础。

5.3　学科评估可以增加公众对科学和科学基金工作的了解

当今社会科学对人们生活的影响日益增加，人们对科学的兴趣也逐渐浓厚。为了使人们更好地了解科学，了解科学基金工作，开展学科评估是一个很好的方式。通过学科评估的工作，向公众展示科学基金在科学研究和学科发展中所起的重大作用，有利于提升公众对科研资助机构工作的理解和支持。同时，这也是我国政府管理机制民主化的必然要求。我国的科学研究成果转化目前不尽如人意，除了其他的因素，与我国的科学宣传和科普工作不力有很大关系。公众对于科学及科学研究一知半解，这也使得目前各种伪科学大行其道，损害了科学的正面形象。通过向公众展示学科评估的结果，一方面让公众掌握当今科学发展的最近进展，另一方面，让公众明确我国科研经费的投入方向及取得的成果，提升公众对科学研究和科学基金工作的支持力度。

5.4　学科评估的前提和基础是相关数据资料信息的积累

科研项目评估篇（10）

中图分类号：TF046.6 文献标识码：A 文章编号：1009-914X（2015）36-0175-01

我国正在加快建设创新新型国家的步伐，科技创新成为我国经济社会发展的基本战略。创新投入高、科技进步贡献率大、对外技术依存度低、创新产出高等是创新型国家的基本特征，也是政府科研工作的重要目标和主要衡量指标。通过与大中小型企业项目评估来看，无论是针对个人或项目评审，知识产权是评估基础成分的基本。我认为，应当将知识产权评估纳入政府科研立项评估体系，以知识产权的数量和质量作为政府科研立项的决策依据。

一、知识产权评估应当成为政府科研立项决策的重要依据

（一）是规避政府投资风险的重要手段

知识产权制度是保护科研创新成果的法律武器，是开拓占领国内外市场的战略资源。但在我国以往的科研立项中，不乏一些由于在选题环节出现偏差导致的重大决策失误，有很多项目在投入大量经费或者结题以后才发现是国内外已经取得了专利知识产权的技术，甚至有的科研成果在进入产业化阶段后被知识产权权利人提起侵权之诉。这不仅导致科研经费的重大损失，也影响了“走出去”战略的实施。

2014年11月5日，国务院常务会议明确提出了“针对重大产业规划、政府重大投资活动等开展评议，规避知识产权风险”的要求。因此，在科研项目立项阶段纳入知识产权评估，有利于利用知识产权信息制定正确的技术创新战略，确定研究方向，提高技术研究和开发的起点水平，提高项目完成质量和资金使用效益，避免低水平重复研究，避免政府投资风险。

（二） 是完善科研管理体制的客观要求

知识产权保护对于激发创新活力、聚集创新优势资源、优化创新环境、提高城市核心竞争力举足轻重。知识产权的数量和质量是衡量城市创新能力的重要指标；企业知识产权创造和运用能力是城市创新能力最终体现。但是，在科技管理体制上，原有的科研管理，包括科研项目立项管理和科技成果管理，与国际上通行的知识产权制度存在许多不协调的地方。这种二者不协调的弊端导致了科技项目重复立项和某些科技成果得不到知识产权保护的现象大量存在，造成了科研资源的浪费。【张鼎映，《科技项目立项中的知识产权研究》】。同时，在科技成果转化阶段，由于没有知识产权的保护，科研人员的技术权益和经济利益也缺乏相应的法律依据，这将会扼杀社会的创新动力。因此，在科研项目立项中未雨绸缪，作好知识产权评估，是落实党的十八届三中全会“加强知识产权运用和保护”精神和依法治国精神的体现。

二、 科研立项中知识产权评估的原则和内容

科研立项（SRTP）是指科学研究或学术研究前针对具体研究课题进行项目依据、资金、人员、研究方法、技术路线、预期完成标准等进行设置、论证的第一道程序。【http：///wiki/%E7%A7%91%E7%A0%94%E7%AB%8B%E9%A1%B9】简言之，就是科技项目管理中项目的确立。知识产权评估工作应当坚持“紧扣需求、分类评议、讲求实效”的原则，促进知识产权科研立项评估与经济发展和科技进步紧密融合，并最终为项目规划、政府决策和技术研发提供决策依据。

在立项阶段，知识产权的各个种类，包括专利权、商标权、著作权、商业秘密权、集成电路布图涉及专有权、植物新品种权等都应当成为被研究和考虑的因素。

知识产权评估不等同于传统意义上的查新检索，而是一项贯彻到科研项目实施和管理的全过程的系统工程，需要综合考量技术、法律、经济、市场等多方面的因素。笔者认为，以下应当成为科研立项中知识产权评估的主要内容：

一是项目所涉及的知识产权保护状况，包括权利类别、数量、法律状态、保护期限等；二是项目已有知识产权权利主体的合法性与权利稳定性的分析；三是项目涉及的关键技术、核心技术和主要技术的专利检索分析报告及其说明；四是项目预计获得自主知识产权的可能性；五是项目可能与他人知识产权发生权利冲突的风险分析；六是项目承担单位的知识产权管理状况和知识产权保护能力。

由于知识产权的创造、运用、保护和管理涉及的知识产权类别较多，技术领域广泛、专业性强，且知识产权的预期产出带有较大的不确定性，因此，对这些评估内容既可以由项目申请主体提供，也可以由决策部门委托相应的中介服务机构或者信息服务机构提供，必要时应当组织专家团队和市场运营专业人员开展专题论证。

三、 建立健全科研立项中的知识产权评估制度体系

科研项目主管部门应参考知识产权评估意见，充分考虑知识产权因素对项目的影响和潜在风险，适时调整项目决策。同时，从政府层面，应当逐步建立健全科研立项中进行知识产权评估的制度体系，确保知识产权评估的制度化、规范化和常态化。

（一）建立知识产权评估制度体系

2012年， 国家知识产权局启动了重大经济科技活动知识产权评议试点工作，主要是服务于重大经济项目投资、重大科技计划制定实施、人才引进、企业并购、进出口贸易等活动。目前，贵州、浙江等地根据国家知识产权局的要求，出台了重大经济科技活动知识产权评议的实施办法。2010年，科学技术部、国家发展和改革委员会、财政部、国家知识产权局出台了《国家科技重大专项知识产权管理暂行规定》等规定，一定程度上为科研立项的知识产权评估提供了依据。我认为，科研立项的知识产权评估，也应走法制化的轨道，应当适时制定科研立项中的知识产权评估办法，对知识产权评估的具体条件、评估主体、评估程序、评估内容、评估意见的运用，以及因未评估而导致国家科研经费重大损失的法律责任等内容作出明确规定。

（二）加快重大经济科技活动知识产权评议人才的培养。

整合资源，针对相关部门、高等院校、科研院所、知识产权评估中介服务机构，鼓励通过联合培养、远程教育、专题培训、国际交流等方式开展项目评估专业人才培养和培训，建立能够提供高质量专利分析和知识产权评估服务的人才队伍，逐步建立知识产权评议专家库。鼓励和支持高校在知识产权学历教育中纳入有关项目知识产权评估的教学内容。

（三） 提升企业知识产权保护和管理的意识和能力。

研发活动是科技活动的核心和创新之源，政府对科研项目的财政支出能够发挥政府对自主创新的规划和引导作用。企业作为科研产品与市场研发的市场主体，是承担科研的中坚力量，也是科研项目重要的申报者、承担者和执行者，企事业单位的知识产权保护和管理能力直接决定着科研经费的投入产出效益。因此，要站在为行业产业发展“导航”的高度，不断提升企业的知识产权保护和管理能力，培养企业知识产权人才，引导企业尤其是中小企业将知识产权的保护和管理贯穿于科技创新全过程，企业科研部门要与知识产权管理部门以及法务部门协调配合，在科研项目申报之前进行充分的知识产权论证和风险评估，提高科研项目申报水平，抢占技术制高点。

（四）搭建打造专业化、高端化的知识产权公共服务平台。

项目主管部门要高度重视科研项目的知识产权评估工作，加强信息沟通、数据共享等协作工作机制建设和运行，建立信息共享平台，完善知识产权数据库，为相关部门及企事业单位决策提供知识产权信息服务，降低在科技项目决策中的知识产权评估成本。知识产权管理部门要围绕战略性新兴产业和重点产业，组织有针对性的专利态势分析和预警研究，不定期重大经济科技领域的行业知识产权现状及态势分析报告，供决策参考。

参考文献：