点击显示 收起
【摘要】 从国内外医学科研评估的现状,综述了医院科研评估体系的分类，探讨了医院科研评估体系作用,以期进一步完善医院评估体系，建立适合医院发展的科研评估体系。
【关键词】 医院;科研;评估;体系
AbstractIt summarized the classification of hospital research evaluation system and discussed the function of this system from the current status of domestic and overseas medical research evaluation, then to further improve hospital evaluation system and establish the appropriate research evaluation system suitable for the hospital development.
Key wordshospital ; research ; evaluation ; system
近几年，在“科教兴国”战略的指导下，我国医学科技实力得到了较大幅度地提高，为促进经济建设和社会发展做出了突出贡献，但与国外先进国家相比仍然存在很大差距,其原因一方面在于我国医学技术本身水平较低,另一方面则是卫生机构，特别是医院，普遍缺乏科研评价的有效工具。因此，如何建立合理的医院科研评估体系已成为现实中亟待解决的问题。
1国内外医学科研评估现状
科研评估是对多层次、复杂的科学研究系统中的科研活动所达到科研目标程度的价值或绩效进行评判、估量的过程[1]。有助于科研管理部门掌握科研发展的基本情况和特点，为各机构制定科研发展规划提供依据和参考[2，3]。科研评估工作在美国、英国、法国等国开展较早。自20世纪60年代起,许多国家就开始尝试对政府支持的科学研究活动的投入、产出、成果和影响力等方面进行评估,现在对科学研究开展的评估已成为一个快速成长的产业[4]。
1.1美国是科技评估活动制度化最早的国家之一。早在20世纪初，美国成立了国会服务部进行与科技有关的研究、分析和评估。美国的科研评估工作已成为制度化、经常性的工作行为,并建立了科技评估支持系统。特别是1993年美国国会颁布《政府绩效与结果法案(GPRA)》,以立法形式确定绩效评估制度,完善了对科学活动的评估机制[5]。美国国立卫生研究(NIH)的每个科研项目都有5个功能领域: 科学研究结果( SRO);研究结果的交流与转移(CTR);能力建设和研究资源(CBRR);人力资源的战略管理(SMHC);项目监管和改进( POI)。在GPRA的法律框架下,绩效管理活动具有规范性、连续性,其内部管理模式经过多年的探索已经形成了以战略为导向的绩效管理模式,将战略计划、绩效计划、绩效报告作为管理整个科研机构的管理框架和体制。在制订跨度为数年的战略计划基础上,每年制订绩效计划、绩效目标,并就绩效完成情况向政府和公众汇报,与预算紧密结合起来。每年根据绩效完成情况来调整绩效计划与目标[6]。
1.2英国对科学研究的评价有多种方式，主要可以分为客观和主观两个部分。主观评价是由同行评议专家组对研究产出的质量评价;客观评价是通过考查引文数据来评价科技论文的质量。其评估的指标则包括:科学活动的规模、人员培养;出版物及其质量、重要性和影响;文献引用;同行评议;其他指标，如:获得奖励等。可以看到评估指标较为具体，但对专利等内容未涉及。
1.3日本1995年11月,日本颁布了《科学技术基本法》。1996年7月,制定了“科学技术基本计划”。1997年8月,日本科学技术会议审议通过了《国家研究开发评价实施办法大纲》。1999年初,出版了《国家研究与发展评价报告》，对基础研究成果的评价依据是著作和学术论文的数量、质量、创新、引用率、研究的指导能力等。评价指标有论文发表数和引用次数、著作出版、学术论著、辞书、教科书、计算机程序、科研经费支持额度和次数、合作研究项目数、被表彰和学术的评价、讲演(被邀)次数、主办和参加各类会议情况、人才培养与交流情况、研究创造和指导能力、研究集体的评价、青年研究学者的评价、为技术开发提供理论依据的情况等[7]。
1.4澳大利亚科研评价指标分为两类,文献计量指标(Bibliometric indicators)和非文献计量指标(Non-bibliometric indicators)。文献计量指标以发表的各种文献著作(定期刊物文章、专论、书中的章节、会议文献、专利等)为基础,以及这些文献著作所包含的参考文献。非文献计量指标包括所有其他容易计量的指标,比如科研人员数量、外部科研基金额、荣誉和奖励等[8]。
1.5中国科研评估工作起步较晚，评估体系还不是非常的成熟与完善。20世纪90年代以来，科技项目的评估被普遍关注，开展了类似的评估探索，如:国家科技攻关计划的评估、国家“863”计划的十年评估、中国科学院“八五”重大项目评估等。所使用的评估方法基本上与国外所采用方法相似，只是指标体系、评估程度、规范性、独立性等方面有明显的差距。由于我国尚未建立一套比较完善的得到科学界普遍认可的评价指标体系，也未形成一套严格的科研评估制度[9]。尽管目前世界各国在医院科研评估的体系方面有很大的区别,即使是美国的方法也远不能说是成熟和通行的,但国外的经验仍然对我国开展评估活动有重要的借鉴与启示意义。
2医院科研评估体系的分类
医院科研评估主要包括医院科研发展规划或计划、项目或课题、成果、专利、学术论文、研究机构设置、科室或重点学科、科技人员和科技奖励和科技制度等，建立良好完备的评估指标体系是评估工作成功的基础，目前医院的科研评估体系仍处于不断的研究和探索中。现常用方法大致可分为三类,即定性评估、定量评估及定性与定量相结合的评估。这三类方法的主要实践形式即同行评议、科学计量学方法和综合评估法。
2.1定性评估定性评价根植于人的经验,旨在利用科学家群体的集体智慧形成准确的判断,但是这种评价方法没有公认的客观依据,加上易受很多学术和非学术因素的影响。其主要方法是同行评议(peer review)，也称作同行咨询(peer ad-vice)、同行评估(peer evaluation)、同行审查(peer censorship)、专家鉴定(refereeing)等[10,11]。同行评议的实质是依靠相同领域或邻近领域的专家对申请者所从事的科学研究活动进行学术评价。在同行评议中,如果所选择专家正确,且专家能够实事求是地表达意见，同行评议是完全可以信服的。在同行评议中,选准评议人是非常关键的一步。现实中,由于科学的高度分化与高度综合,同行评议人的选择常常显得非常困难。因此，搞好科研绩效定量评价,并以此作为同行评议的补充,将提高同行评议的准确性。同行评议方法一般包括通信评议、专家组会议评议、通信与专家组结合和实地考察几种。比如，江西省医药卫生计划项目执行情况评估体系是通过专家座谈的方式,筛选出影响计划项目完成的关键点,逐点进行分解、细化，采用问卷调查的方法，对科研管理人员进行调查，将不同的定性指标转化为相应的定量指标，构建项目执行情况量化评估体系[12]。
2.2定量评估定量评价主要是将科学计量学、文献计量学运用到科研评价当中,用客观数据对科研进行评价，从而使决策者能够有效的定量化管理，是目前医院科研评估常用的定量评估方法。
2.2.1科学计量学其指标[13]主要有:(1)期刊的影响因子;(2)学术论著被转载、摘录,被权威检索工具收录情况;(3)学术论著的被引用(或应用)与被(综述文献、权威评论刊物)评论量,对该指标的统计即引文分析,一般以被引频次为具体评价指标。这三个指标的重要性依次增加。
2.2.2文献计量法是指利用出版物、专利、引文等科技评估指标进行评价的一种定量评估方法。它利用的文献特征主要有:科技论文(专著)的数量与分布、科技论文的引证、引用率、平均被引次数、文献的半衰期等。比如，北京协和医院科研绩效评估体系主要采用论文、成果、专利、课题和专家评分进行评估[14]。华西医科大学附属第一医院彭远慧等[15]应用费用效益分析的基本方法,分析该院6年来的研究与发展项目,总结出项目的投入主要由人力、物力、财力3个要素构成,项目产出由项目等级、成果级别、成果转化、专利类型、论文、著作、人才培养、临床及社会服务、学术交流、主办期刊等构成。
2.2.3优点具有较强的科学性和严谨性,由于它是根据登载论文刊物的权威程度和作为同等表现形式的论文被转载、引用次数来作为评价标准的一种评价方法,因此它不受个人主观因素干扰和其他非科学因素的影响,有助于规范评价行为。
2.2.4不足在成果统计上有时间的滞后效应,论文发表或著作出版后通常要等若干年才能验证其真实价值,因此不可能及时对成果作出评价;计量分析指标只适用于已公开发表的学术论文、公开出版的著作等科研成果,对于那些不宜公开发表、但已被有关部门采用而且取得明显经济社会效益的科研成果无能为力。
2.2.5注意事项并非所有的引证都同等重要，许多引证是引用常规方法、统计设计、技术修改或标准数据，而有些引文则是用来提醒防止错误的。最重要的引证是承认相关的工作或暗示可能的扩展和应用。因此，一篇论文受到多次引用并不是其自身科学质量的充分证据。
2.3定性与定量相结合的方法只有将定性评价和定量评价结合起来,才算真正达到了完善的地步。综合评估的方法很多,有层次分析法(The Analytic Hierachy Process AHP)、特尔斐法(Delphi)、模糊综合评判、逼近理想解的排序法、灰色关联分析法、加权求和法、分组相加求积法、交叉积差法等。各种综合评价的方法都有其优缺点和适用条件,在实际应用中应根据具体情况选择。以下介绍几个常用的方法。
2.3.1层次分析法(the Analytic Hi-erarchy Process,简称AHP)[16]以运用性、简洁性、实用性和系统性等特点在项目评估中得到广泛应用,于20世纪70年代由美国科学家Saaty教授提出的。该方法本质上是一种决策思维方式，它把复杂的问题分解为各个组成因素，将这些因素按支配关系分组形成有序的递阶层次结构，通过两两比较的方式确定层次中诸因素的相对重要性，然后综合人的判断以决定决策诸因素相对重要性总的顺序。它能把决策过程中定性与定量因素有机地结合在一起，用一种统一的方式进行处理;既能保证模型的系统性、合理性，又能使决策管理专家充分运用其有价值的经验与判断能力。四川省科学技术情报研究所运用AHP建立起项目立项评估指标体系,通过构建判断矩阵,对要素和指标分别进行两两比较,计算出各项指标的权重,并提出进行评估的步骤与方法[17]。
2.3.2特尔斐法(Delphi)特尔斐法是通过征求一群人(通常是有关问题的专家,一般为20~50人)对复杂决策问题的意见,并据此做出判断。它是一种群决策技术,能有效地征求和提炼群的意见。基本程序:(1)确定预测目标,即:欲解决什么问题,设计咨询提纲或咨询表。(2)选择咨询专家进行咨询。要求专家对咨询的问题逐一提出个人的书面意见,将专家们的意见分析、归纳、筛选、整理成新的咨询提纲或表格再发给专家进行咨询。经典的特尔斐法一般作3~4轮咨询,派生特尔斐法可减少1~2轮咨询。这样既减少了工作量,又节省了时间,效果也较满意。(3)进行统计分析,提出预测意见,确定方案。优点:(1)匿名:咨询过程中不暴露专家的名字,每位专家也不知道共有多少位专家,哪些专家参与咨询。在提意见时,没有心理压力,可畅所欲言。(2)定量:能对大量非技术性的无法定量分析的因素做出概率估价,为决策者提供的多种预测方案均能给以明确的概率答案。(3)趋向:经过多轮反馈咨询,专家们分散的意见一般总能趋向一致,相对集中。缺点是:(1)费时:对专家们书面意见进行整理费时较多,尤其当专家住地相距很远,信函往返则更费时。(2)局限:当某一意见分散程度较大时,虽经3、4轮反馈,仍不见意见趋于集中。如再进行多次咨询,不但延长时间;而且,易造成有些专家草率从事,从而降低了质量。
2.3.3模糊综合评判模糊综合评判法是利用模糊矩阵对评价对象(科研成果)进行同行评议,通过模糊矩阵复合运算,定量地描绘出科研成果优劣的方法。这种方法适用于评价指标大多数为定性指标的评价系统,且要求同行专家对每个评价指标的内涵有较高程度的认同。若评价系统中的大多数指标为定量指标时,用此方法就失去了其特有的优势。毛军文等应用模糊数学综合评判法将专家的定性评判转变为定量地模糊矩阵关系,通过模糊矩阵合成得出评价结果[18];梁锦敏在科技招标中应用模糊综合评判法对项目招标单位进行评估,从而在项目管理中引入竞争机制,大大激发了科研单位的活力,提高了科研经费的使用效率,保证了项目完成质量[19]。
3医院科研评估体系的作用
科研工作作为综合性医院业务工作的一个重要方面,而科学合理的科研工作计量评价体系可以比较确切地反映医院科研工作实际,便于医院对科研工作实施科学管理,充分调动医院员工的科研工作积极性和主动性，因此日益受到了众多医院的重视。
3.1对医院的作用
3.1.1增强科技管理的科学化和民主化通过评估可以提高和增加科技管理工作的客观性、公正性及透明度,能够发挥许多不同专家的智慧,强化科技管理的科学化和民主化。为各级领导提供科技信息，并对各级人员及科室进行科研绩效量化考核。
3.1.2降低科研成本,提高竞争力通过对项目、科研人员等实现优胜劣汰的选择所引发竞争机制,可以实现人力、资金和科研项目等资源的优化配置,最大限度地减少或防止科技计划、科技项目可能产生的负面效应,提高科学研究和科技开发工作的效率和效益,减少重复、浪费,提高医院的整体竞争力。
3.1.3促进科技创新和管理创新科学、公正的评估为新思路、新项目的出现和成长创造了适宜的环境,有利于涌现和培植新项目;通过不断改进评估标准、管理规则和措施起到改进和创新科技管理，为科技创新提供了有力保障。
3.1.4导向和激励作用利用评估标准对评估对象划分优、中、劣等不同群体,表彰优者,鞭策劣者。应用科研评估指标体系，可以鼓励科研人员加强竞争意识，努力提高效率和创新能力，更有利于优秀人才脱颖而出，从而带动本学科乃至整个医院整体实力的提升。科研评价指标体系作为科研评价的方法和工具，在各种优秀人才选拔及重点学科申报评选中起到了衡量标准作用，在促进人才的培养、学科的发展和医院的竞争中起到了巨大的推动作用。
3.1.5宣传和贯彻作用在访谈或问卷等过程中加深了科技工作者对科技政策和激励措施的认识,不仅利于执行,而且宣讲了我们的工作,更容易得到科技工作者的支持。
3.2对学科的作用
3.2.1客观评估作用医院建立学科建设评估指标体系，能动态地了解各学科的现状和存在的问题，有利于找出差距，确定目标，及时制定整改措施，不断完善和明确学科发展方向。
3.2.2依托和调动作用应用科研评估指标体系，可以促进提高各学科的整体水平，可以依托重点学科以其优势和特色以点带面，有效地调动各科室学科建设工作的积极性，为医院学科建设的总体规划和具体实施提供客观而强有力的依据。
3.2.3提高竞争力鼓励科研人员加强竞争意识，努力提高效率和创新能力，更有利于优秀人才脱颖而出，从而带动本学科乃至整个医院整体实力的提升。为绩效考核提供了量化标准，各类优秀人才大多出自评估后的重点学科，优秀人才的成长与作为又反过来促进了学科建设的发展。综上所述,科研评估是科研管理工作的一个重要组成部分，科研评估的高低对一家医院科研的进展、成果的获得、经费的使用、效益的高低都会产生直接的影响。更为重要的是可以为决策者提供有用的分析结果和可靠的信息,使医院将有限的资源配置到更好的项目中去，使各类项目取得好的成效。
【参考文献】
1刘海林,姚树印.医学科研管理学. 北京： 人民卫生出版社，1991: 302 - 311.
2蒋宁,刘民.医学科研评价指标体系研究综述. 中华医学科研管理杂志， 2005; 18(5): 317-319.
3刘卫东,徐剑铖，黄春基，等.医院临床学科评估指标体系的构建与应用. 中国医院管理，2005，25(3)：19-20.
4龚旭,夏文莉.美国联邦政府开展的基础研究绩效评估及其启示.科研管理,2003,24(2):1-8.
5邱霈恩. 美国《1993政府绩效与结果法案》译文.中国行政管理,2004,(5) : 28.
6Matrix of Scientific Research Outcome ( SRO) GPRA Goals organized by Difficulty & Time and non - SRO Goals by FunctionalArea 〔EB /OL〕. 〔2008 - 03 - 22〕. http: / / nihperformance. nih. gov/NR / rdonlyres/47EA4F47 -1FED - 4F40 - AC09 - A03A7732F466 /9109 /SROandNon2 SROGoalMatrixJanuary2008. doc.
7熊树民.日本的基础研究成果评价.世界科技研究与发展,1997，19(5):84-84.
8The Australian National University,Research Evaluation and Policy Project.REPP Discussion Paper.http://repp.anu.edu.au,2005-1-30.
9王凭慧.科学研究项目评估方法综述.科研管理,1999，20(3):18-2.
10郭碧坚,韩宇.同行评议制-方法、理论、功能、指标.科学研究,1994,(3):63-66.
11吴述尧.同行评议方法论.北京：科学出版社，1996.
12辜小汉，余红霞，万洪云，等.江西省医药卫生计划项目执行情况评估体系的构建及应用.中国医药导报，2009，6(3)：123-125，136.
13胡永宏,贺思辉.综合评价方法.北京:科学出版社,2000:167-207,129-139.
14罗林枝，徐苓，徐辉.北京协和医院科研成果评估体系改革初探.中华医学科研管理杂志，2006，19(6)：345-346，338.
15彭远慧,邓可刚.医院科研投入产出分析初探.中华医学科研管理杂志，2001，1：18-20.
16王莲芬,许树柏.层次分析法引论.北京:中国人民大学出版社,1990:5-41,108-113,242-262.
17任西光.省级科技攻关项目立项评价指标体系研究.科技管理研究,1998，5:12-15.
18毛军文,刘超,施红,等.科技攻关课题检查验收综合评价方法的建立和应用.中华医学科研管理杂志,1997，10(1):38-39.
19梁锦敏.模糊综合评价在科技招标中的应用.科研管理,1998，19(2):76-80.