1 重庆三峡医药高等专科学校, 2 重庆大学附属三峡医院
【摘要】 目的:本研究旨在构建一个完善、系统的适用于高职院校护理专业实践教学质量评价的指标体系,为高职院校护理专业实践教学质量监控提供参考依据。方法:以CIPP评价模式为框架,确定高职院校护理专业实践教学质量评价指标体系并各指标权重。结果:2轮函询问卷的有效回收率分别为93.75%和100% ,权威系数Cr值分别为 0.855、0.875,协调系数W值分别为 0.258、0.267 ,具有统计学意义(P<0.01)。指标体系共包括一级指标4项,二级指标11项,三级指标31项。结论:高职院校护理专业实践教学质量评价指标体系设置合理,构建过程科学。
【关键词】 CIPP模式,高职院校,实践教学质量;评价体系
教学评价作为高校加强教学管理,增强教学质量的自我监控,提高教学质量的重要手段已经越来越受到高校管理者以及教育者们的关注[1]。其中实践教学的重要性越来越重要。《基础护理》是护理专业中一门实践性强、应用性强的核心课程,其实践教学质量的高低直接影响到学生的实践能力、临床适应能力以及创新精神等的发展[2]。而CIPP评价模式从背景评价、投入评价、过程评价以及成果评价4个方面全面涵盖实践教学的方方面面。因此,本研究以CIPP评价模式为框架构建高职院校护理专业《基础护理》课程实践教学的评价体系,从而保障《基础护理》课程的教学质量,切实提高学生实践能力,同时也不断巩固专业教师的教学能力、实践技能素养。
1 CIPP评价模式
CIPP评价模式包括背景评价(Context Evaluation),输入评价(Input Evaluation),过程评价(Process Evaluation)与成果评价(Product Evaluation)四种评价类型[3]。其功能分别以背景评价形成计划决定,以输入评价做成结构性的决定,以过程评价形成实施性决定,以成果评价达成裁决性决定[4]。本研究将CIPP评价模式运用于职业院校专业建设评价,CIPP评价模式的基本观点是“评价目的不在于证明而在与改进”。CIPP评价将人才培养活动作为一个整体来进行评价,而不是评价某一个部分。
2 资料与方法
2.1 筛选文献 本研究按照文献筛选流程共纳入选择备选指标的国内参考文献 224篇,由2名研究者对文献进行独立筛选、提取资料并交叉比对。根据CIPP评价模式,对纳入研究所涉及的指标进行整理和分类[6],共获得4个类别,其中背景评价指标包括实践教学培养方案的合理性、实践教学教学目标设定合理性2个二级指标;投入评价指标包括实践教学设备投入、实践教学资源投入2个二级指标;过程评价指标包括实践教学实习实训教室评价、师资力量评价、实践教学学情评价、实践教学形式与教学方法评价、实践教学考核情况评价5个二级指标;结果评价指标包括学生实践技能水平评价、用人单位对学生实践能力的评价2个二级指标。
2.2 制定函询问卷 为获取符合具体、具有实践性的高职院校护理专业《基础护理》课程教学的指标内容,选取高职院校护理专业《基础护理》课程教学教师4名,教研室主任2名进行半结构式访谈,访谈内容主要包括《基础护理》课程教学的设备、资源以及教学方法、效果评价等。对访谈资料进行整理分析,提炼主题并归类:(1)《基础护理》课程的目标设定;(2)《基础护理》课程实践教学的资源与设备配备;(3)《基础护理》课程的教学方法、实施过程;(4)
《基础护理》课程的评价方法。将访谈结果与文献回顾等资料进行整合,初步形成指标体系。经科研小组讨论后,形成函询问卷:第1部分为高职院校护理专业《基础护理》课程评价指标体系咨询表,共50项指标,其中一、二、三级指标条目数分别为4、13、33。请专家判断每个指标的名称是否准确,是否属于相应归类,按照“5=很重要、4=重要、3=一般重要、2=不太重要、1=不重要”判断其重要程度。第2部分为专家情况调查表,包括个人信息、对指标的熟悉程度和判断依据。
2.3 Delphi专家函询。(1)确定函询专家。根据Delphi法的要求和本研究目的[5],确定本研究函询专家纳入标准:①本科及以上学历,中级及以上职称;②5年及以上高职院校护理专业《基础护理》课程教学经验;③10年及以上临床工作经验;④自愿参加本研究,能够从不同的判断视角提供比较全面的意见,并能够持续参加本研究直至专家函询结束。本研究最终共纳入专家15名,其中硕士7名;从事《基础护理》课程教学、护理学院院长及临床护士分别为8、3、4名;具有5年及以上工作经验者达到100%。15名专家来自3个省市的不同高职高校或临床,各专家互相不知道彼此信息,通过研究者本人作为中间人交流思想,保障专家之间不会互通信息,从而保障各个专家充分表达自己意见
[6]。通过邮件和研究者亲自发放的形式发放问卷,请专家在1周内返回问卷,及时对回收问卷进行意见汇总和数据整理,对修改部分做出说明,经科研小组修订和论证后组织下一轮函询。(2)指标筛选标准。结合本研究实际情况,确定指标筛选标准为重要性评分>3.5、变异系数(CV)<0.25、满分频率>20%[6],同时结合专家文字性建议。为了保证指标筛选的严谨性,规定以上3个判断尺度均满足的指标予以删除,对于有1或2个尺度不符合者,经科研小组讨论后进行取舍。对于专家新增加的指标,秉承充分尊重专家意见的原则,进入下一轮函询[6]。
2.4 层次分析法。AHP是一种定性与定量相结合的多准则决策思维,具有系统化、层次化的特点,将其与Delphi法相结合是常用的组合赋权方法[7]。基本原理是对专家主观判断结果进行定量标度,根据专家重要性赋值的均数差确定Satty标度,建立层次结构模型,构造判断矩阵,进行层次单排序及一致性检验,最终确定各指标权重和组合权重。
2.5 数据处理。采用Excel2003、SPSS17.0、Yaahp11.0软件进行数据的录入及统计处理。应用均数、标准差、变异系数等进行描述;计算专家积极系数、权威系数和协调系数。P<0.05为差异有统计学意义。
3 结果
3.1 专家的积极性及权威性 (1)专家积极性以问卷有效回收率表示。两轮函询的问卷回收率均为100%,表明专家积极性良好。(2)专家权威系数(Cr)是专家代表性和在本领域权威程度的量性评价指标,Cr可接受的范围需达到0.70及以上,专家的权威程度取决于专家的判断系数(Ca)及对指标的熟悉程度,判断依据分为理论分析、实践经验、参考国内外资料和直觉选择4类[8],影响程度的具体数值见表1。每位专家对问卷的熟悉程度系数(Cs)分为5个等级,很熟悉、熟悉、一般、不熟悉、很不熟悉,按照1.0、0.8、0.6、0.4、0进行赋值;专家权威系数(Cr)的计算公式:Cr=(Ca+Cs)/2。本研究中2轮专家函询的Cr值分别为0.855、0.875,表明专家权威性较高,代表性良好,对指标体系有可信的预测精度。
表1 指标判断依据及其影响程度
判断依据 | 对专家判断的影响程度(Ca) | ||
大 | 中 | 小 | |
实践经验 理论分析 国内外研究的影响 直觉选择 | 0.5 0.3 0.1 0.1 | 0.4 0.2 0.1 0.1 | 0.3 0.1 0.1 0.1 |
3.2 专家意见集中程度。以各指标重要性赋值均数、标准差和满分率表示。标准差越小,均数和满分率越大,该指标越重要,专家意见越集中。第1轮函询,50项指标的重要性评分均数为3.58~5.00,标准差为0~1.60,满分率为32.25%~100.00%;第2轮函询,46项指标的重要性评分均数为3.58~5.00,标准差为0~1.34,满分率为42.50%~100.00%。由此可见,专家意见集中程度高。
3.3 专家意见协调程度。(1)变异系数(CV)说明专家对某个指标意见的波动情况,第1轮函询CV>0.1的指标为36个,占所有指标的72%。第2轮函询CV>0.1的指标为25个,占所有指标的54%,表明专家意见逐渐趋于一致。(2)肯德尔和谐系数(W值)表示全部专家对所有指标进行评价所得结果的一致性或可信度,W值在0~1,W值越大,意味着专家意见协调程度越高[6]。但W值一般在0.4~0.5的范围内波动,本研究2轮咨询的W值虽然与0.4~0.5的标准有一定差距,但W值的显著性检验P<0.05,仍说明结论比较可靠,可能与专家权威性较高,意见难以协调有关。
3.4 指标修订。2轮函询后指标修订情况具体见表3。
表3 2轮函询后删除的指标
编号 | 指标内容 | 删除原因 |
2.1 2.2 2.3 | 实践教学材料及相应三级指标 实践教学经费及相应三级指标 实践教学保障及相应三级指标 | 与实践教学设备投入有重合 与实践教学设备投入有重合 与2.1、2.2有重复 |
3.5 指标体系及权重 将专家函询结果与AHP相结合,进行指标权重设置,采用层次分析法软件Yaahp11.0计算各指标的权重值,具体数值见表5。
表5 高职院校护理专业《基础护理》课程实践教学质量评价指标体系
一级指标 | 二级指标 | 三级指标 | 三级指标权重值 |
1.背景评价(0.1312) 2.投入评价(0.2413) 3.过程评价(0.3026) 4.结果评价(0.3249) | 1.1实践教学培养方案 (0.0656) 1.2实践教学教学目标的设定(0.0656) 2.1实践教学设施 (0.1086) 2.2实践教学资源 (0.1327) 3.1实践教学制度 (0.0386) 3.2实践教学考核 (0.0689) 3.3实践教学学情评价 (0.0297) 3.4实践教学方法 (0.0894) 3.5实践教学改革与创新 (0.0760) 4.1学生实践技能水平评价 (0.2256) 4.2用人单位对学生实践能力的评价(0.0993) | 1.1.1培养方案的科学性 1.1.2培养方案的可操作性 1.1.3师生对于培养方案的了解程度 1.2.1教学目标的科学性 1.2.2教学目标的可操作性 1.2.3教学目标与培养方案的一致性 1.2.4师生对于培养目标的了解程度 2.1.1实践教学实习实训教室种类 2.1.2实践教学实习实训设备数量与类型 2.1.3实训室及设备利用率 2.2.1师资数量与类型 2.2.2实践教学教材或视频资源遴选 2.2.3实习实训练习开放教室使用率 2.2.4实践教学指导教师配置 3.1.1实践教学管理制度 3.1.2实践教学管理机构 3.2.1考核方法 3.2.2考核权重占比 3.3.1学生理论与技能考核占比 3.3.2学生对实践课程的态度与认知 3.4.1教学改革方案 3.4.2学生演示-教师回示教方法 3.4.3情景模拟教学方法 3.4.4床旁教学法 3.5.1实训室环境改革 3.5.2学生与教师教与学方法改革 3.5.3学生与教师对实践教学态度 4.1.1学生实践技能能力 4.1.2学生满意度 4.2.1用人单位满意度 4.2.2用人单位对学生实践能力满意度 | 0.0321 0.0306 0.0029 0.0065 0.0210 0.0256 0.0125 0.0341 0.0562 0.0183 0.0510 0.0384 0.0223 0.0210 0.0248 0.0138 0.0456 0.0233 0.0178 0.0119 0.0333 0.0187 0.0187 0.0187 0.0124 0.0510 0.0126 0.1185 0.1071 0.0475 0.0518 |
4 讨论
4.1 专家函询结果具有可靠性、科学性
Delphi法在我国研究中较为成熟,主要应用于评价体系的建立、指标筛选、指标权重的确定与赋值[6]。本研究遴选的15名专家均是来自于高职院校护理专业的专任教师以及临床一线的护理人员,包括专任教师、护理学院院长、临床护理人员,具有权威性和代表性。专家意见协调系数在0.5左右波动,χ2检验P<0.05,有统计学意义,认为专家咨询的协调程度好。本研究的W值波动在0.156~0.289,虽在正常范围内,但数值较低,可能源于专家们在本领域中持有不同见解,存在学术争议。但协调系数的统计学检验P<0.05,每个指标的变异系数在标准范围内,可证实本研究结果比较可靠。
4.2 通过构建评价指标体系,实践教学质量评价更具全面性
同构本研究构建的高职院校护理专业实践教学质量评价指标体系,能够较为全面、系统的对护理实践教学进行客观评价,弥补了目前国内护理专业实践教学质量评价散乱、不系统、不集中、不客观的现象。
参考文献
[1]黄华. 浙江高职院校实践教学质量评价指标体系构建[D]. 浙江师范大学.
[2]宇寰, 章新琼, 赵梅,等. 基于CIPP模型的《基础护理学技能》实践教学评价[J]. 中国校医, 2017, 31(002):150-152.
[3]韩双, 徐美佳, 董术发,等. CIPP模式在高职"焙烤食品加工技术"课程实践教学评价中的应用[J]. 当代农机, 2021(10):2.
[4]吕泊怡, 黄欢, 赵智军. CIPP评价模式下高职院校心理健康课程评价指标体系的构建[J]. 闽西职业技术学院学报, 2021, 23(2):4.
[5]吕晓艳, 王世芳, 甘晓丹. 基于Delphi法构建关节置换术后深静脉血栓预防干预方案[J]. 护理管理杂志, 2020, 20(6):5.
[6]王春霞, 纪代红, 李亮. 髋关节置换术延续护理质量评价指标体系的构建[J]. 中国实用护理杂志, 2018, 34(2):7.
[7]邱文教, 赵光, 雷威. 基于层次分析法的高校探究式课堂教学评价指标体系构建[J]. 高等工程教育研究, 2016(6):6.
[8]廖琦, 桂金艳. Delphi法在护理专业中的应用进展[J]. 护理研究:下旬版, 2015.
【基金项目】:重庆三峡医药高等专科学校苗圃工程(2019XJMP04)