德尔菲法在我国艾滋病综合防治绩效评价指标筛选中的应用

德尔菲法在我国艾滋病综合防治绩效评价指标筛选中的应用

李绍奎1秦侠2李洁雪2陈任2马颖2王晓虎

李绍奎1秦侠2李洁雪2陈任2马颖2王晓虎3胡志2

【摘要】目的筛选统一的、适合我国国情的艾滋病综合防治绩效评价的指标，用于指导我国艾滋病防治工作。方法采用德尔菲专家咨询法，对卫生管理、疾病控制、临床医生以及流行病学、卫生统计学方面的专家进行三轮电子邮件咨询。结果通过三轮咨询，历时2个月，共筛选出52个指标。其中需求评价指标7个，组织保障评价指标8个，防治活动评价指标15个，防治效果的指标12个，经济学评价指标5个及满意度和反应性指标5个。结论建立了一套统一的、适合我国国情的艾滋病综合防治绩效评价指标体系。

【关键词】德尔菲法；艾滋病；防治；绩效

TheApplicationofDelphimethodinScreeningPerformanceEvaluationindicatorsofHIV/AIDSComprehensivePreventionandControlinChina.LiShao-kui,QinXia,LiJie-xue,ChenRen,WangXiao-hu,HuZhi.1.MedicalaffairdepartmentofHefeiFirstPeople'sHospital，Hefei230061，China；2.HealthAdministrationDepartment，AnhuimedicalUniversity，Hefei230032，China

【Abstract】ObjectiveToscreenunifiedperformanceevaluationindicatorsofHIV/AIDScomprehensivepreventionandcontrolwhicharesuitableforchina’ssituation,toguideChina'sAIDSpreventionandcontrolwork.MethodsDelphimethodwasusedtocallforconsultationinthethreeroundsfromexpertsinhealthmanagement，diseasecontrol,clinician，epidemiologyandhealthstatisticsbyE-mail.ResultsThroughthreeroundsofconsultation,whichlastedtwomonths,atotalof52indicatorswereselected,including7indictorsondemandsofHIV/AIDSpreventionandcontrol,8indictorsonorganizationrequirements,15indictorsonactivitiesandoperations,12indictorsoneffectivenessevaluation,5indictorsoneconomicsevaluation,5indictorsonsatisfactionandresponsiveness.ConclusionsAunifiedperformanceevaluationindicatorsystemforHIV/AIDScomprehensivepreventionandcontrolwhicharesuitableforchina’ssituationhavebeenestablished.

【Keywords】Delphimethod；HIV/AIDS；PreventionandControl；Performance

随着我国对艾滋病综合防治投入的逐渐增大，如何全面准确地评价我国艾滋病防治投入的现况及其效果、艾滋病防治实施的效果与可行性、资源配置的适宜性和利用的有效性，是我国政府以及国际组织特别关注的问题，也是目前急需解决的问题。艾滋病综合防治绩效评价是提高艾滋病资源利用效率和艾滋病综合防治工作质量的有效途径。但目前国内外对艾滋病综合防治绩效评价的研究还未见报道。我们应用德尔菲法(Delphimethod)，通过三轮专家咨询，挑选出52项指标作为我国艾滋病综合防治绩效评价指标。现将具体过程报告如下。

内容与方法

1．内容

课题组通过对《中国预防与控制艾滋病中长期规划（1998-2010年））》[1]、《中国遏制和防治艾滋病行动计划（2006-2010年）》[2]等政策的文献研究和深入的理论分析，设计艾滋病综合防治绩效评价理论框架，并征求有关专家意见对初筛的指标作进一步取舍。将拟定的绩效评价指标体系分为两个层次，即6个一级指标和52个二级指标，其中一级指标包括6个变量，分别为需求评价、组织保障、防治活动、防治效果、经济学及满意度和反应性。

2．方法

本次调查采用德尔菲法专家咨询法，具体步骤如下：

2.1设计、拟订第1轮专家咨询表

根据指标体系雏形，参照国际经验，从重要性程度、可操作性程度对指标进行评价，分别分成6个等级，并赋予相应的量化值，拟订第1轮专家咨询表。同时根据专家对指标的熟悉程度、判断依据的自我评价，判断专家权威程度。

2.2确定专家组成员

专家的选择是Delphi法的关键环节。按照代表性与权威性原则、学术专家与管理专家相结合的原则，既要考虑专家的基本条件如学历、职称、工作性质、专业等，又要兼顾本研究的具体情况，因此，我们确定了以下专家入选条件：

（1）高等医学院校中从事艾滋病、流行病学及卫生统计学研究的人员，他们从事多年艾滋病防治理论研究，具有坚实的理论基础。

（2）卫生行政部门、省CDC承担艾滋病防治综合防治任务的各级管理人员，从管理和决策的角度考虑艾滋病防治的相关问题。他们具有丰富的实践经验，能够发现工作中存在的问题，了解防治对象的需求，对指标的可操作性有切身体会。

（3）国际组织在中国开展艾滋病防治项目的项目官员，接触国外最新研究进展和实践经验，可以为本研究提供更广泛的意见。

2.3专家咨询

两轮咨询调查表均通过电子邮件方式发放、回收。组织者在第1轮调查的电子邮件中介绍调查目的、实施办法、专家角色以及完成时间，并附上第1轮调查表背景情况说明和具体填表说明。第1轮结果回收整理后，修改制定第2轮调查表，通过电子邮件发给专家，并附上第1轮咨询的结果。对回收的第2轮专家咨询表进行统计处理和分析，修改制订第3轮专家咨询表，并附上第二轮咨询结果，请专家对二级指标给出权重分配，进行第3轮专家咨询。对于逾期未反馈结果的专家，进行电话提醒。三轮调查历时2个月。

数据处理方法

采用EPIData3.0软件建立数据库，利用SPSS10.0统计软件进行描述性分析和χ2检验。

1．德尔菲法有关统计指标的计算方法[3]如下:

1.1专家意见集中程度

（1）某指标平均值()

1.3专家意见的权威程度

专家权威程度用专家权威系数来表示，越大，专家权威程度越高。一般来说，权威系数有两个因素决定，一是专家对指标做出判断的依据（），一是专家对指标的熟悉程度（）。专家权威程以自我评价为主。本研究在完成对各项指标评价的同时，请专家填写了判断依据和权威程度的自我评价表，并计算出权威系数。一般认为，专家权威系数≥0.70为可接受信度[4]。本研究专家的权威系数集中在0.752-0.924之间，说明专家对指标非常熟悉，权威程度很高，从而有效保证了指标的可靠性。

2．专家意见的集中程度

专家对各指标相对重要性的意见集中程度，一般以指标评价的算术平均值、满分频率表示。“满分频率”是指:认为该指标非常重要的专家占专家总数的百分比。满分比越大，说明该指标也越重要[5]。在第1轮调查中，57个指标评价值的算术平均值在1.006-1.747之间；指标的满分频率最高为83.33%，最低为12%。第3轮调查后，再次统计52项指标评价值的算术平均值在1.707-1.974之间，比第1轮评价值的平均值有显著提高；指标的满分频率均在50%以上，最高为87%，最低为50.07%。说明专家们认为52指标均是可取的，可以用来作为评价指标。

3．专家意见的协调程度

用变异系数和协调系数两项指标来检验专家意见的协调程度。专家变异系数说明专家对该指标评价的相对的波动程度，或者说是协调程度[5]。相互比较，变异系数越小，专家意见的离散程度越小，协调程度就越高。一般认为变异系数大于0.25则认为该指标的专家协调程度不够。第1轮咨询专家对各指标的变异系数在0.169-0.493之间。

第3轮咨询专家对各指标的变异系数在0.109-0.243之间，均低于0.25，可见接受咨询的专家对指标评价波动程度较小，意见相对集中。计算52个指标的协调系数W=0.537，P<0.05，表示专家意见相当协调，各一级指标卡方检验P值均小于0.05，认为专家意见的评估或预测的可信度高，评价或预测结果可信。评价结果是可取的。见表4。

讨论

艾滋病综合防治绩效评价指标体系研究目前在我国尚属首次，Delphi法为本研究提供了多方案选择的可能性，通过对专家意见集中程度和协调程度等相关数据的统计，获得以概率表示的明确答案，而其他任何经验预测方法都很难做到这一点。对于建立这样一个比较复杂的艾滋病综合防治绩效评价指标体系，任何方法都无法代替Delphi法的实用性。而且本研究选择的专家具有较好的代表性，回表率高，专家的预测是建立在实践经验和理论依据基础之上，对本课题所涉及的内容熟悉程度较高，对自我评价结果的权威性自认程度较高，表明专家对指标选择的把握性较大，预测的精度较好，保证了本次预测的可靠性。不可否认，在应用该方法时难免出现专家直观判断使预测结果带有主观色彩，为此，我们下一步将开展实证研究，对指标进行修正和完善，使主观见之于客观，通过实践来检验，以弥补单独应用Delphi法的不足。

1．本研究的可靠性评估

本研究采用的是Delphi法，专家咨询的可靠性将直接影响到指标体系的科学性，因此本研究从专家选择和专家积极、权威性来分析评价研究的可靠性。本研究共聘请32名专家，覆盖全国安徽、云南、山东、新疆等15个省份。其中在高校从事艾滋病防治理论研究的专家教授5人，占总人数的15.6%，他们掌握国内外最新的理论研究，可以为本研究提供理论指导。在国家和省级疾病预防控制机构承担艾滋病及性病艾防治工作的专家24人，占总人数的75%；在医院从事艾滋病临床研究的专家2人，占总人数的6.3%；他们具有丰富的实践经验，了解工作中出现的问题及防治对象的需求，对指标的可操作性有较深切的体会，能从实践角度指导指标的建立。国际组织中在中国的艾滋病防治项目官员1人，占总人数的3.1%，能够为本研究提供国外先进经验，促进我国艾滋病防治工作与国际接轨。职称结构上，所选专家均具有副高以上专业技术职称，其中正高23人，副高9人，分别占71.9%和28.1%，而且大部分专家有担任领导职务的经历。工作年限上，从事艾滋病防治工作20年以上的专家3人，占总人数的9.4%，15-20年之间的专家17人；占总人数的53.1%；10-15年的专家5人，占总人数的15.6%；5-10年的专家5人，占总人数的15.6%。这些专家具有丰富的艾滋病防治工作知识和经验，思维和判断能力较强，能够从不同的角度，提供较为全面的意见，并有较强的责任心，能够保证此次研究的有效性和可靠性。

专家的积极系数即专家咨询表的回收率，本次Delphi法3轮专家的积极系数分别为93.75%、86.67%和100%，一般认为，50%的回收率是可以用来分析的最低比例，60%的回收率较好，大于70%更好。本次咨询回收率较高，并且在每一轮的咨询过程中，专家除认真填写各项表格外，部分专家还对指标设计及内涵提出许多建设性的意见，对某些问题给予热情指导和探讨，由此可见，专家们对本研究积极性很高，给予了充分的重视和关心。

专家意见的权威程度对研究的可靠性有相当大的影响。一般认为，专家权威系数≥0.70为可接受信度[5]。本研究专家的权威系数集中在0.752-0.924之间，说明专家对指标非常熟悉，权威程度很高，从而有效保证了指标的可靠性。

2．本研究的战略性

本研究建立的艾滋病综合防治绩效评价指标体系既可以横向比较不同样本地区同时期的绩效水平，也可以纵向比较某地区不同时期的变动。综合绩效从六个方面（需求、组织保障、防治活动、防治效果、经济学及反应性和满意度）进行评价，这样既可以计算出某地区艾滋病防治的综合绩效，又可以得出某地区每个方面上的绩效，既可以看到某地区艾滋病防治取得的成绩，又可以发现不同的方面存在的问题，明确在前进发展中的不足以及失误，某地区可以根据评价结果分析问题产生的原因，提出下一步的整改措施，从而有针对性地提高艾滋病综合防治的绩效。

参考文献

[1]国务院办公厅．《中国预防与控制艾滋病中长期规划（1998-2010年）》［R］，1998．

[2]国务院办公厅．《中国遏制和防治艾滋病行动计划（2006-2010年）》［R］，2006．

[3]曾光.现代流行病学方法与应用[M].北京:北京医科大学中国协和医科大学联合出版社，1994,250-270.

[4]龚旭，夏文莉.美国联邦政府开展的基础研究绩效评估及其启示[J]．科研管理，2003，24(2):1-8．

[5]黄敬亨.健康教育学[M]．上海:卜海医科大学出版社，1997，212．