简介:摘要目的基于经典测验理论(classical test theory,CTT)和项目反应理论(item response theory,IRT)下的等值方法对2个年度临床医学专业(本科)水平测试(简称学业水平测试)考生作答情况进行分析,探讨学业水平测试中更为适合的等值方法。方法基于CTT方法,采用塔克(Tucker)观察分数线性等值方法、列文(Levine)观察分数线性等值方法、等百分位法、等百分位平滑法4种方法,基于IRT方法的单参数、双参数模型中,采用分别估计法、同时估计法和固定共同题参数估计法各3种校准方法进行等值探索,通过等值标准误来分析以上10种等值结果的稳定性。结果CTT方法的等值误差在0.7~1.6之间,IRT方法的等值误差在0.2~0.6之间,IRT误差更小。CTT方法中,Tucker观察分数线性等值方法误差最小,为0.7,等百分位平滑法误差最大,为1.6;IRT方法中,单参数模型的等值结果优于双参数模型,单参数模型中,固定共同题参数估计法的误差最小,为0.2。结论学业水平测试等值可以选择IRT单参数模型中的固定共同题参数估计法,通过等值,年度2学业水平测试等值后的分数上调,合格标准保持不变,有效地实现了分数可比,保证了考试公平。
简介:摘要目的针对2018年医师资格考试临床类别分阶段考试第一阶段临床基本技能考试中评分者对评分标准的掌握程度进行评价,探讨标准化病人(standardized patients,SP)与考官评分的一致性,为相关研究提供参考。方法2018年,随机抽取参加医师资格考试临床类别分阶段考试第一阶段临床基本技能考试的某所学校,以其临床医学专业77名考生的沟通交流能力和人文关怀能力的分数作为研究对象。采用多面拉希模型(many facets Rasch model,MFRM),将评分者(包括2名考官和1名SP)的情景误差因素分离出来,对考生的沟通交流能力和人文关怀能力进行评估,并对评分者的内部一致性和评价的宽严度进行分析。结果77名考生能力估计值的平均数为2.75 logits(MFRM分析结果均采用洛基量尺logit作为基本单位),大部分考生的加权拟合检验量(Infit)小于1.5;评分者总体宽严度平均数为-0.55 logits;考官的宽严度平均数为-0.45 logits,SP的宽严度平均数为-0.70 logits,其差异无统计学意义(t=-0.129,P=0.903)。结论评分者对评分标准掌握较好,整体标准相对宽松,SP与考官评分的内部一致性较高。
简介:摘要目的对临床思维能力测评(clinical thinking ability assessment,CTA)系统在医师资格考试临床类别分阶段考试实证研究中的评分准确性进行分析,为CTA系统的后续研究提供参考。方法采用简单随机抽样法,选取参加2018年CTA系统测试的35名考生作为研究对象,邀请三级甲等医院副高级及以上职称的8位医师作为临床专家,对35名考生的临床思维能力进行等级评价,通过CTA系统评分与临床专家等级评价的Pearson相关系数和概化理论(generalizability theory, GT)对CTA系统评分和专家等级评价的一致性进行分析。结果CTA系统在信息收集站、病情分析站、临床诊疗站和动态决策站的评分与临床专家等级评价的Pearson相关系数分别为0.824、0.697、0.856、0.815;GT分析得出的概化系数分别为0.879、0.904、0.879、0.878,可靠性指数分别为0.674、0.863、0.869、0.797。结论CTA系统评分与临床专家等级评价的一致性较高。
简介:摘要为了提高我国临床医学考试医师临床思维能力测评水平,创建一种适用于我国临床执业医师资格考试的相对客观化、结构化的考试形式,自2017年开始,国家医学考试中心组织15名医学教育学专家和3名心理测量学专家开展研究,于2018年提出了医师临床思维能力测评(clinical thinking ability assessment,CTA)指标,构建了CTA框架,开发了CTA系统,并在2018年和2019年的临床执业医师资格分阶段考试实证研究考试中使用和完善。本文介绍CTA框架和系统,以使院校和考生了解CTA,推动CTA系统应用,提高我国临床执业医师资格考试实践技能考试中临床思维能力测评水平。