陆国栋 吴英策 陈临强 何钦铭:基于主客观综合的高校大学生竞赛质量评价探索——以44项全国高校大学生竞赛项目为例

  • 时间:
  • 浏览:12
  • 来源:淮南师范学院教务处_中央司法警官学院教务处_大连大学教务处海洋
阅读模式

   DOI:10.16298/j.cnki.1004-3667.2019.05.13

   摘 要

  对大学生竞赛质量进行评价是当前高校竞赛治理亟待解决的关键问题,也是一个复杂的评估问题。研究依据综合客观事实和主观判断的理念对44项全国高校大学生竞赛开展了质量评价尝试:从竞赛覆盖面、竞赛水平和获奖难度三个维度,采用拉开档次法和主成分分析法开展客观评价;采用专家评价法开展主观评价,综合三种方法得到最终评价结果。研究为更好地开展大学生竞赛质量评价提供了一种可供参考的方法论视角。

   关键词

  大学生竞赛;主客观综合;质量评价

  2017年12月14日,中国高等教育学会“高校竞赛评估与管理体系”专家工作组在杭州发布2012—2016年我国普通高校学科竞赛评估结果,我国高校竞赛第三方评估拉开序幕。2018年2月2日,中国高等教育学会在北京继续发布2013—2017年普通高校学科竞赛评估结果,并于当年4月在武汉发布我国首部大学生竞赛白皮书,并组织了一系列研讨会,大学生竞赛评价进入公众和专家视野,并引起关注。

  通过文献梳理发现,关于高校学科竞赛的研究有两个重要视角。在管理学视角下,主要集中于高校学科竞赛管理及相关管理体系的构建和竞赛评估相关研究。在教育学视角下,主要聚焦于高校学科竞赛基本理论研究;竞赛育人功能及其机制的探讨;对某一类竞赛的深入分析;高校大学生竞赛参与现状和相对宏观层面的当前我国大学生竞赛整体发展现状的探讨。其中,对于竞赛评估的相关研究仅见于中国高等教育学会“高校竞赛评估与管理体系研究”专家工作组以高校为评估对象,通过竞赛贡献、组织贡献和研究贡献对大学生竞赛结果进行评估的探索,对大学生竞赛项目本身的质量进行评价的相关研究仍属空白,而这恰恰是高校大学生竞赛治理的重要问题。

  评价是指“从被评价对象主体中提取本质属性,使之转换成主观价值尺度,并用以度量被评价对象的行为过程”。现实世界纷繁复杂,评价对象有诸多影响因素,面对复杂的评价问题,某种具体的评价方法总是从一个角度刻画被评价对象,并可能带来评价结论的不一致。为提高评价结果的说服力,人们往往采用组合评价的方式,通过多种方式,从多个角度对被评价对象进行价值判断,以减少单一方法可能带来的偏差。高校大学生竞赛质量影响因素众多,本研究以44项全国性大学生竞赛为例,采用主客观结合的评价方式对高校大学生竞赛质量开展评价探索。

   一、样本特征

  截至2018年9月,中国高等教育学会2018年高校竞赛排行榜评估项目收到64项竞赛申报。按照《高校竞赛排行榜评估项目遴选办法(试行)》相关规定,剔除举办时间不满三届、非全国赛、无法提交数据等竞赛项目后,以44项数据较为齐全的高校大学生竞赛作为研究对象,探讨大学生竞赛质量评价方式方法及其有效性。

  从主办方构成来看,44项竞赛中,教育部参与主办的竞赛有5项,占比8.77%,如全国大学生创新创业训练计划年会展示;中国高等教育学会或各类教学指导委员会主办的竞赛有23项,占比40.35%,如由中国高等教育学会主办的“两岸新锐设计竞赛 华灿奖 ”“高等院校民航服务技能大赛”,由教育部高等学校工程图学课程教学指导委员会、中国图学学会制图技术专业委员会、中国图学学会产品信息建模专业委员会主办的“全国大学生先进成图技术与产品信息建模创新大赛”;行业协会、学会组织的竞赛共16项,占比28.07%,如由中国商业统计学会主办的“大学生市场调查与分析大赛”;其他竞赛共13项,占比22.81%。

  从学科分布来看,可以大致分为三大类,一类为计算机类相关竞赛,共10项,占比22.73%,如“中国大学生服务外包创新创业大赛”“全国大学生信息安全竞赛”“中国高校计算机大赛”等;理工科类(不含计算机类)竞赛共22项,占样本竞赛的一半,如“全国大学生化工设计竞赛”“全国大学生金相技能大赛”等;其他类竞赛(含医学类、经管类、创新创业类、综合类等)共12项,占比27.27%,如“全国大学生英语辩论赛”“全国大学生基础医学创新论坛暨实验设计大赛”“中美青年创客大赛”等。

   二、评价指标体系的理论构建及描述性统计

  (一)评价指标体系的理论构建

  通过课题组多次讨论和多方意见征求,在理论上从“竞赛覆盖面”“竞赛水平”和“获奖难度”三个维度构建大学生竞赛质量评价指标体系。其中,竞赛覆盖面反映竞赛项目的影响力,测度指标包括某一项竞赛参赛数据的省份覆盖情况和学校覆盖情况以及竞赛项目获奖数据的省份和学校覆盖情况;竞赛水平指的是大学生竞赛的整体水平。一般而言,高水平高校参赛情况可以从一定层面折射出竞赛水平,我们选取一流大学建设高校为对象,将一流大学建设高校的参赛情况作为竞赛水平的衡量指标,具体分两个观测点,包括参赛的一流大学建设高校在所有一流大学建设高校的占比和参赛的一流大学建设高校在所有参赛高校的占比。获奖难度主要是指获得某竞赛奖项的可能性,用校均获奖数和获奖率来表征,其中校均获奖数含两个观测值,分别为相对于参赛校的校均获奖数和相对于决赛校的校均获奖数,获奖率的观测值为获奖数与报名数的比值。(见表1)

  

  (二)描述性统计分析

  对竞赛项目样本在9项指标中的表现进行描述性统计,结果如下:

  1. 竞赛覆盖面方面的描述性统计结果。在省份覆盖方面,参赛数据覆盖25个省(市、自治区),获奖数据覆盖19个省(市、自治区);高校覆盖方面,参赛数据覆盖218所高校,获奖数据覆盖89所高校。从图1~图4基本可以看出,44项竞赛的省份覆盖面基本呈现右偏态,偏度分别为-0.232和-1.085;而高校覆盖面则呈现更为显著的左偏态,偏度分别为2.388和1.827。从一个侧面说明,全国性大学生竞赛在组织过程中相对较好地照顾到了参赛和获奖学校的省份覆盖情况,但对于学校的覆盖则相对不理想,少数高校覆盖数较大的竞赛项目拉高了整体水平,折射出将这两项指标作为竞赛项目质量评价的衡量指标有一定的合理性。

  

  

  

  

  2. 竞赛水平的描述性统计结果。在一流大学建设高校参赛方面,平均而言,获奖的一流大学建设高校占所有一流大学建设高校的24.18%,占所有获奖高校数的15.39%。检验数据的正态性,发现一流大学建设高校的两个占比数据都略显左偏态,偏度分别达到0.779和1.310。

  3. 获奖难度的描述性统计结果。获奖难度共两个二级指标,分别为校均获奖数和获奖率。由于赛程设计的差异性,校均获奖数分别为按照决赛校计算的校均获奖和按照初赛校计算的校均获奖,分别记为校均获奖A和校均获奖B。

  从校均获奖A的正态检验发现,偏度达到5.912,呈现极度左偏态(见图5),说明以决赛校为分母所计算的校均获奖数存在极端值。进一步分析原始数据发现,某一项竞赛的校均获奖数达到31.24项,已经远远超出其他竞赛项目。剔除该极端值后,绘制校均获奖A的正态分布图(见图6),显示该分布的偏度为1.074,接近正态分布。同理计算校均获奖B和获奖率分布情况,结果显示偏度分别为1.34和0.42,接近正态分布。

  

  

  从以上分析来看,竞赛项目在9个指标中的分布基本接近正态分布,略有偏态,不过偏值较低。从侧面说明每个指标对于竞赛而言具有一定的可区分度,指标选取具有一定的合理性。

   三、客观评价法和主观评价法

  为避免单一方法可能带来的偏见,本研究采用主客观相结合的方式开展竞赛项目综合评价研究。

  (一)客观评价法

  客观评价法依据客观数据对评价对象进行价值判断。目前来看,客观评价有两种评价思想,一种关注信息的整体,如拉开档次法、逼近理想点法等;一种关注信息的局部,如熵值法、主成分分析法等。本研究采用关注整体的拉开档次法(Scatter Degree Method,以下简称SDM法)和关注局部的主成分分析法(Principal Component Analysis,以下简称PCA法)对大学生竞赛质量展开评价探索。

  1. 拉开档次法(SDM法)。拉开档次法又称投影法,其评价思想是把被评价对象看作由m个评价指标构成的m维评价空间中的n个点(或向量),寻求n个评价对象的评价值就相当于把这n个点向某一维空间进行投影,通过选择一定的指标权重系数,使得各个评价对象之间的差距尽量拉大。该方法侧重于关注指标体系的整体信息。

  具体而言,首先把所有的指标方向和量纲一致化,并将所有数据进行标准化处理,然后构建极大型评价指标。通过矩阵运算,使得被评价对象取值的方差尽可能拉大,从而将评价问题转变成一个数学规划问题,通过求最优解得到每个评价指标的权重系数。

  2. 主成分分析法(PCA法)。利用PCA法确定指标权重也是客观赋权常见的一种方法,该方法关注被评价对象的局部特征。具体计算方法为,首先将原始数据标准化,计算相关系数矩阵,然后得出相关系数矩阵的特征值和特征向量,接下来计算贡献率和因子成分载荷,通过因子成分载荷、因子特征根和方差贡献率三者之间的计算,得出每个指标的权重系数。

  (二)主观评价法

  SDM法和PCA法都是基于客观数据的评价方法,无法兼顾某些无法量化的影响因素,如竞赛的声誉和认可度等这些存在于人们头脑但无法精确量化的要素,需要用主观评价法加以补充。因此,我们采用质性化程度相对较高的简单专家评价法(Expert Evaluation Method,以下简称EEM法)作为对客观评价方法的补充,也即在向专家提供基本数据的基础上,请专家对每个竞赛给出简单的评价等级。

   四、大学生竞赛质量评价的实证研究

  (一)竞赛质量客观评价

  分别采用SDM法和PCA法计算评价指标S1~S9的权重,然后基于优化模型,综合权重,代入标准化原始数据,计算出每个竞赛项目的综合得分,再进行归一化,得到大学生竞赛质量的客观评价结果。

  1. 确定评价指标权重。首先,采用stata13.0和excel软件,通过SDM法求解每个指标的权重。具体方法为:根据理论分析,求部分反向指标的倒数,使其变成极大型指标。然后,将所有指标进行标准化。第三,通过求解数学规划问题,得到每一项指标的权重。

  其次,采用SPSS21.0社会统计软件,通过PCA法求解每个指标的权重。具体方法为:采用PCA法对44项竞赛在9个指标中的矩阵进行分析,KMO值为0.6,Bartlett球形检验的相伴概率为0.000,达到极其显著,基本可以进行因子分析。因子分析结果共提取到特征根大于1的公因子3个,累计方差贡献率达到80.137%。采用最大方差法旋转矩阵,得到因子负荷矩阵,将因子负荷矩阵、特征根和方差贡献率进行综合运算,计算出每一项指标的权重。

  

  

  2. 确定每项大学生竞赛得分。将最优权重代入原始标准化矩阵,得到每个竞赛项目的得分,并做归一处理。(见表3)

  

  (二)竞赛质量主观评价

  根据回避原则、多元原则和学科均衡原则邀请竞赛项目评价专家,共邀请专家26人,分5类:一类为普通本科高校代表,身份为普通本科院校教学副校长或教务处主要负责人,共11人,占所有专家的42.31%;一类为高职院校代表,身份为高职类院校教学副院长或教务处主要负责人,共4人,占比约15.38%;一类为专业类教学指导委员会代表,共2人,占比约7.69%;各类竞赛主办方或秘书处代表(主要为纳入2012—2016年和2013—2017年全国普通高校学科竞赛评估的竞赛项目)共7人,占比约26.92%;最后一类为高校管理部门代表,主要为省高教处主要负责人,共2人,占比约7.69%。将26位专家按照均衡原则分成两个组分别评审22个竞赛项目。在评审过程中,向专家提供每项竞赛的计算指标(S1~S9),每项竞赛项目2018年参赛和获奖的原始数据,每项竞赛项目的扩容申请表以及排行榜项目遴选办法,请专家根据自己的理解分三档做出判断,其中,A类为强烈推荐纳入新一轮评估;B类为一般推荐;C类为不推荐。最终回收专家数据24份,回收率为92.31%,有效率为100.00%。

  鉴于A类和B类虽然推荐程度不同,但都同意该项目纳入新一轮评估,故而在赋分的时候分别赋值为3分和2分,C类为不推荐,赋分为0分。根据专家推荐结果,按照加权方式计算每个竞赛项目的专家赋分结果并做归一化处理。(见表4)

  

  (三)主客观评价结果的综合

  为了充分考虑主观判断和客观判断的贡献,本研究在最终的得分合成中,参考公式(1)、公式(2),加权平均得到每个申请的竞赛项目的最终得分,结果见表5。

  

   五、讨论与结论

  (一)综合评价方法的适用性与有效性

  将三种方法下每个竞赛项目最终得分计算Spearman相关系数,(见表6)两两相关系数均大于0.8,达到极其显著,说明无论是以SDM和PCA进行的客观评价方法还是专家判断为主的主观评价方法,都从某种程度上反映了竞赛质量的本质属性,三种方法在大方向上是一致的,也从侧面证明了三种方法的合理性和效度。

  

  评价活动是一项科学活动也是一项价值活动,需要考虑客观事实,也需要关照主观判断。同时,也需要看到,只要是评价就可能带来偏见,如专家判断的客观性和有效性依赖于专家选择的合理性和代表性,SDM方法基于无量纲化方法的差异可能带来结果的差异性,并由此带来可能的偏差,PCA法虽然被广泛用于多变量分析,但要求变量间具备一定的相关性等等,任何一种评价方法都有其突出的优势,但不可避免带有其固有的劣势。因此,综合运用多种方法对事物进行评价就成为有效规避这种偏差的可能手段。

  高校竞赛项目质量评价是一个典型的多因素评价问题,特别是由于竞赛项目在学科归属、赛题设计、赛程规定、评奖规则等方面的差异性,竞赛项目质量到底可以进一步解剖为哪几个维度,是一个见仁见智的过程。很多人对竞赛质量有一个主观判断,但缺乏科学的内涵分解。本研究采用主客观综合的方法对竞赛质量进行评判可能成为揭开竞赛质量“面纱”的一种可能手段。客观方法在尊重既定事实的基础上,通过关照整体和关照部分两个角度对客观数据进行了梳理;主观方法更是将人们头脑中的“概念性”的质量转化为可量化的数据。更有意思的是,将三种方法判断的结果进行比较,得到较为一致的结果,说明每种方法都在一定程度上表现了竞赛质量的内涵,但可能都带有一定的“偏见”,三者综合可能在一定程度上降低这种偏见,更大程度上回归“真值”。

  (二)影响竞赛项目质量的指标重要性分析

  根据客观评价中每个观测点的最优权重,整合计算出每个一级指标权重,分别为:竞赛覆盖面权重为0.520,竞赛水平权重为0.208,获奖难度权重为0.273。可以看出,对于竞赛质量而言,竞赛覆盖面是排序第一重要的指标,约占一半权重,其次为获奖难度,再次为竞赛水平。在竞赛水平中,42所一流大学建设高校的参赛情况从一定侧面上反映了竞赛水平,也是一个重要指标,权重占到0.148。提示竞赛主办方在组织全国性竞赛之际,需要关注竞赛的省份和高校覆盖面,作为全国性竞赛需要给全国高校搭建舞台,充分照顾不同的省份和高校;同时,为凸显竞赛质量,还需要吸引高水平大学参赛,由此推动竞赛质量提升;第三,竞赛主办方还需要警惕为了扩大影响而盲目发奖的“冲动”,获奖难度过低也会影响竞赛项目总体评分。

  评价是基于某种理念对评价对象作出价值判断的过程,任何一种具体的评价方法都是对被评价对象某一视角下的内涵刻画,对于复杂评价问题而言都可能存在“偏见”。全国大学生竞赛质量评价是一个典型的复杂评价问题,为尽量减少这种偏见,更加接近“真值”,本研究从主客观两个维度对大学生竞赛质量开展分析,在客观评价中更是采用了关注整体和关注局部的两种客观评价方法,从各个方面对大学生竞赛质量进行刻画,可以为大学生竞赛评估提供一种可供参考的方法论视角。随着数据的进一步丰富化、结构化和精确化,对大学生竞赛开展更加精确的评估,使之更加接近竞赛的本来面貌,是我们一直努力的方向。

   作者

  陆国栋,浙江大学机器人研究院常务副院长,教授,浙江杭州310058;中国高等教育学会工程教育专业委员会秘书长,浙江杭州310058;

  吴英策,中国高等教育学会秘书处事业发展部主任、助理研究员,北京100191;

  陈临强,杭州电子科技大学学报编辑部主任、教授,浙江杭州310018;

  何钦铭,浙江大学计算机科学与技术学院教授,浙江杭州 310027

  感谢浙江大学工程师学院张聪副研究员、浙江大学城市学院颜晖教授、浙江工业大学徐巧宁老师、嘉兴学院朱琦老师、中国高等教育学会工程教育专业委员会秘书处秘书邓路和杭州简学科技有限公司孙永乐积极参与本研究的讨论和数据整理,特此致谢。

  原文刊载于《中国高教研究》2019年第5期第76-81,87页

   栏目

  研究与探索

  

  中华人民共和国教育部主管

  中国高等教育学会主办

  投稿平台

  http://editor.hie.edu.cn/gj/article/add

  投稿邮箱

  gaoyanbianjibu@163.com

  《中国高教研究》编辑部

  北京市海淀区学院路35号世宁大厦217室

猜你喜欢