(86)755 - 21606888
教育测评研究成果
Research findings

基于互联网的教育测量与评价服务平台研究


发表时间: 2013-11-07 12:44:50

【关键词】

互联网  教育测量  教育评价  服务平台

【作  者】

游忠惠:深圳市海云天科技股份有限公司董事长、重庆大学客座教授、高级工程师(深圳,518057)

郭启华:深圳市海云天科技股份有限公司部门经理、经济学硕士(深圳,518057)

杨  晨:深圳市海云天科技股份有限公司产品规划师、教育学硕士(深圳,518057)

在建设社会主义和谐社会和创新型国家的伟大实践中,教育肩负着重要的使命。教育质量的测量和评价是教育领域的重要环节,历来受教育行政管理部门、学校、教师、学生、家长乃至全社会的高度关注。不论教育目标有多大差异,教育价值观有何不同,但教育都是培养人的活动,学生都是教育活动的核心产出,教育质量最终体现于接受教育的学生的质量。教育质量的测量与评价应指对学生全面发展的综合测量与评价,以及由每一个学生个体汇聚起来的每一所学校学生群体状况的衡量与比较。这种综合测量与评价,根据实施素质教育的规定与全面发展的要求,应该包括学生的知识、技能、情感、态度、价值观等多方面的水平,而不能只是其中的某一项,比如只有学科课程的文化书面考试。

由于教育测量与评价理论、科学技术和社会经济发展水平等条件的限制以及教育过程中实际存在的复杂性,导致教育质量的测量与评价往往由于评价的依据不够充分、数据不够准确、全面等原因而未能形成科学的结论和体系。

1.教育测量与评价需要先进的技术手段作支撑

教育测量是根据教育测量学的原理和方法对教育现象及其属性进行数量化研究的过程。具体来说,就是测量学生的学习成绩、智力水平、品德状况、人格心理特征、身体素质发展等方面。教育评价是按照一定的价值标准,对受教育者的发展变化及构成其变化的诸种因素进行价值判断的过程。从学生个体对象来说,就是以教育目标为依据,评价学生的学习以及智力、品德、人格心理、身体素质发展过程和结果。

教育测量与教育评价,是既有区别而又互为联系的。测量是评价的依据,评价是测量的具体体现。应用于教育实践,一般统称为“教育测评”。教育测评是当今世界教育科学研究的三大领域之一,既是一门重要的方法论课程,同时又是一门实用性的课程。它不仅在教育科学体系中占有显赫的地位,而且在教育教学过程中具有重要而广泛的应用价值。教育测量与评价的根本目的是为了更好地提高学生的综合素质和教师的教学水平,为学校实施素质教育提供保障。

近年来,随着《中共中央国务院关于深化教育改革全面推进素质教育的决定》和《国务院关于基础教育改革与发展的决定》的颁布,素质教育全面推进,教育测量与评价得到了社会各界的广泛重视,各地积极探索,取得了有益的经验。但是,现行教育测量与评价的理念、手段和方法与全面推进素质教育的要求还不相适应,突出反映在我国基础教育评价还存在以下问题:从评价理念看,在很大程度上仍以应试的观念、考试的方式、分数和升学率为尺度评价学校教育;从评价组织看,评价基本上由政府组织进行,在很大程度上是依据政府的工作检查而展开的,其他社会力量极少介入评价;从评价内容看,仍然存在过多偏重学科知识,特别是课本上的知识,而忽视了实践能力、创新精神、心理素质以及情绪、态度和习惯等综合素质的考查;从评价标准看,仍然存在过多强调共性和一般趋势,忽略了个体差异和个性化发展的价值;从评价方法看,仍然存在以传统的纸笔考试为主,过多地使用量化方法,而很少采用体现评价新思想的、质性的评价手段与方法;从评价主体看,仍然存在单一化问题,忽视评价主体多元、多向的价值,尚未形成教师、家长、学生、管理者等多主体共同参与、交互作用的评价模式;从评价对象看,仍然存在忽视自我评价的价值,被评价者仍多处于消极的被评价地位,积极性、主动性没有很好地被调动,自尊心、自信心时时会受到挫伤;从评价过程看,仍然存在过于关注评价结果,而忽视被评价者在各个时期的进步状况和努力程度,没有实现真正意义上的形成性评价;从评价功能看,仍然存在过分强调甄别与选拔功能,忽视以发展为核心的综合功能;从评价结果反馈看,仍然存在忽视评价者积极的反馈与被评价者积极的认同,使评价结果反馈的反思、导向作用得不到充分的发挥。

我国教育测量和评价领域出现的种种问题,有着深刻的现实背景,也有其历史必然性。解决上述问题,需要教育测量与评价理论做指导,更需要先进的技术手段做支撑。随着教育改革深入发展,要求建立促进学生全面发展、教师不断提高、课程不断发展的评价体系和多元主体共同参与的评价制度,发挥评价的激励与改进功能。综合素质评估越来越多地被引入选拔或评测过程中,新的评价模型在不断更新。这些新的模型都是建立在更科学和更系统的基础上,对信息技术处理方法、实现技术、实施措施和处理性能提出了新的要求。

因此,根据我国教育信息化建设的实际情况,结合我们在考试技术服务领域十多年来的工作经验,我们提出建设“基于互联网的教育测量与评价服务平台”(以下简称“平台”)。平台采用科学的教育测量与评价理论和模型与先进的信息技术和互联网技术,通过采集教育过程中的各种测量数据,采用多水平分析、“增量”评价、认知诊断、等值技术等现代教育测评模型和测评“云计算”模型的分析与评价,通过互联网平台形成针对教育行政管理部门、学校、教师、家长和学生等不同层次的个性化评价报告,对教育整个过程中学生的学业水平、智力水平、品德状况、人格心理特征、身体素质发展和环境影响等各个方面,以及学校和教育行政管理部门的教育与管理水平进行全面的测量和综合评价,从中发现学生、教师、学校和教育行政管理部门在教育过程中可以改进和优化的部分,为实现因材施教、学生个性化发展、教育资源的合理分配与优化和教育改革提供科学的依据。

2.教育测量与评价服务平台的设计原则

2.1采用科学的现代教育测量与评价模型

评价历来是教育过程中最复杂的一环,平台充分利用先进的信息技术,开发基于教育测量科学的评价体系、具备合理的评价指标、能够方便的使用、形成全面的分析结果的信息化平台,摆脱传统评价的复杂过程。平台采用以下教育测量与评价模型:

1)多水平分析模型

平台收集到的变量可以分为一定的层次:首先是学生本身的变量,比如年龄、学习成绩等等;其次是班级的变量,比如班级的人数,男女生的比例、班主任的管理风格等等;再次是学校的变量,比如重点或者非重点,学校所在地等。这样的数据就构成了一种具有层次的嵌套结构。很长时间以来,由于数据结构的变化以及研究分析的不断深入,传统的分析方法对嵌套型数据结构的挖掘分析束手无策,多水平分析方法正好解决了这一类问题。

多水平分析通过考虑测量水平和个体水平不同的差异,明确表示出个体在水平1(不同测量点)的变化情况,因而对于数据的解释(个体随时间的增长趋势)是在个体与重复测量交互作用基础上的解释,即不仅包含了不同测量点的差异,而且包含了个体之间存在的差异。多水平分析对数据资料较传统多元重复测量方法有较低的要求,对于重复测量的次数和重复测量之间的时间跨度都没有严格的限制。不同个体可以有不同的测量次数,测量与测量之间的时间跨度也可以不同。

多层分析模型可以定义重复观测变量之间复杂的协方差结构,并且对所定义的不同的协方差结构进行显著性检验。在多层分析模型中,通过定义第一水平和第二水平的随机变异来解释个体随时间的复杂变化情况,当数据满足传统多变量重复测量模型对数据的要求和假设时,层次分析法得到与传统固定效应多元重复测量模型相同的参数估计和假设检验结果。

2)“增量”评价模型

“增量”评价是通过对学生在整个就读期间或某个阶段的学习过程、学习结果的分析,来描述学生在学习上进步或发展的“增量”,也可看作是教学质量提升的结果,是学校教学改进的标志,是教学质量评估所要抓住的重点。基于教育过程的“增量”评价模型设计和研究是平台的核心组件。

3)认知诊断模型

认知诊断的优势就在于它能够揭示每个被试者的具体认知状况,并且有效地、有针对性地对个体进行补救.认知诊断目前在世界范围内越来越受到重视,而要真正实现认知诊断,需借助一定的计量学模型即认知诊断计量模型。国际上,目前已开发近60种认知诊断计量模型,并涉及参数估计、模型比较、资料模型拟合检验、CAT、DIF、模型应用等方面研究。不同认知诊断计量模型又各具特点,因此需对不同模型的特点、功能及其应用进行研究。

4)等值技术

测验、考试被作为一种尺度来对人的心理特质进行测量。这种尺度应该具有稳定性。不同的考试版本之间应该具有一致性。对于同一个测量对象,不能用这个版本测量得到一个度量,用另一个版本测量却得到相差很大的另一个度量。尽管我们在命题过程中总是尽量保持考试难度的稳定性,但不同试卷之间在难度、信度、分数分布方面的差别很难完全避免的。这种差别不仅会影响到测验的质量,影响到评价标准的客观性,而且会使参加考试时间不同、使用试卷不用的考生受到不公平的对待。这样,就需要将具有不同难度、分数分布的试卷的分数转换到一个统一的量尺之上,采用统一的量尺对应考者进行测量。这种将一个测验的不同版本的分数统一在一个量表上的过程即等值(equating)。

5)测评的云计算模型

各所学校、个人的本地测评数据通过互联网接到平台系统上,由平台的超级集群运算服务器提供数据的统计分析和报告服务。这使得使得成千上万的终端用户不担心所使用的计算技术和接入的方式等都能够有效的运用依靠网络连接起来的硬件平台的计算能力,无论什么用户,无论用户的计算机条件如何,都能够获得高效的评价报告服务。

6)个性化评价报告

由于不同层级用户的需求不同,评价报告也有相应的改变,平台能够针对用户最关心的问题进行分析评价,提供其所需要的评价报告。而且,平台还提供个性化报告生成工具,用户可以通过这个工具对报告的模式和内容进行设定,从而生成更加个性化的报告版本。

2.2关注学习全过程的评价

学生的学习是知识不断积累、能力逐步提高的习得过程,是不断发展变化的过程,平台对学生的评价是动态和随时跟进的,关注学生学习的发展过程,促进每个学生都能朝着课程标准规定的教学目标稳定地迈进。教育评价既包括学习结束时以针对课程标准的达成程度及检验学习成果为目的的终结性评价,也包括在教学进行的过程中,以了解学生对知识的掌握达到精熟程度与否以及学生的情感、态度、策略等方面发展为目的的形成性评价。形成性评价关注学生学习的全过程,通过多种渠道、多种方法地收集、综合和分析学生日常学习的信息,了解学生的知识、能力、兴趣和需求,着眼于学生潜能的开发。不仅注重对学生认知能力的评价,而且也重视对学生情感及行为能力的评价。综合评价学生在情感、态度、价值观、创新意识和实践能力等方面的进步与变化,为学生提供一个不断自我完善与提高的机会,促进学生身心素质的全面发展。

2.3覆盖教育全过程的海量数据的采集、存储、管理和共享

现在已有部分机构和学校开始将网上评卷运用到了考试当中,但庞大的网上评卷数据的统计分析和评价缺乏统一的、科学的标准体系,分析结果良莠不齐。另外,目前国内将教育过程测量与评价仅仅应用在了实施了网上评卷的考试中,但是对于占很大的考试外信息却还无能为力。仅仅考试过程的信息化远远满足不了当前对于过程性评价信息化的需求,采用信息化手段对于考试之外的信息进行记录、分析和评价的需求日益强大。平台建立了覆盖教育全过程的海量数据和采集、存储、管理和共享工具,对教育整个过程中学生的学业水平、智力水平、品德状况、人格心理特征、身体素质发展和环境影响等各个方面的数据进行采集,建立教育全过程的海量数据库。

2.4强大的数据分析与挖掘功能

平台下设数据分析与挖掘子系统,该子系统具有强大的数据分析与挖掘功能,以教育测量学为理论基础,运用统计描述和统计推断的方法,在数量化领域内对被评价现象的数量表现和数量关系进行事实性判断,从而为进一步进行定性分析和形成价值判断提供依据。平台具有以下作用:

3.教育测量与评价服务平台的总体架构

3.1平台的用户

互联网教育测评平台用户包括教育行政管理部门、学校、教师、学生、家长以及教育研究工作者。

1)教育行政管理部门:平台为教育管理者提供科学的量化数据,便于及时掌握教育过程动态,为对各学校管理提供了科学的参考依据;平台为科教部门及时提供有效数据,便于探讨和指导教育教学方向。

2)学校:平台为学校提供教育教学的过程管理指导,甄别学科和教师的教学质量;有利于端正办学方向,具有导向作用;能够测度学校管理水平的高低,具有优化管理的作用;能反映学校各方面工作的优劣,具有激励、督促的作用;有利于教育科学理论的研究与提高,起到探索规律、完善理论的作用。

3)教师:有利于教师端正教育思想、调动教师的积极性、教师改进工作、建设一支合格的教师队伍,教师评价有利于教师的科学管理。

4)学生:平台指导学生提高学习能力、综合素质和心理素质,更科学地为学生提供个性化发展的建议。有助于把握学习起点,选择教学策略,改进教学活动,改善学生的行为表现,了解学生发展中存在的困难,有针对性地解决问题;使教师和学校全面了解学生发展情况。

5)家长:更全面更直观的掌握小孩的学习生活身心发展情况。使家长及时了解子女学习状况及特长和潜质,以便为子女提供更适合的学习条件。

3.2平台的架构

平台以互联网络为服务媒介,面向全社会,以云计算体系为主题技术架构,实现对教育体系不同层面的个性化的和权威的测评服务体系。

平台分为数据库和应用平台两个部分,数据库分层存放,所有操作均通过应用平台完成。应用平台的功能主要包含教学质量数据分析和挖掘,与服务中心进行交互,教学管理和辅助。应用平台设有数据导入和录入接口,可通过其他系统如学籍管理系统、网上评卷系统导入数据,也可手工录入学生各类综合信息。应用平台设有用户接口,各单位各类角色均通过用户接口进行操作,如上传和下载数据,进行分类数据统计分析,查询分析结果,与服务中心进行交互。应用平台设有后台服务接口,海云天服务中心通过后台服务接口提供后台技术支持以及同用户进行交互,为用户提供个性化定制服务。

3.3平台的流程

平台核心流程包括三个步骤,数据采集、分析评价和结果查询。

3.3.1 数据采集

1) 通过数据采集接口调用别的系统生成的数据,如学籍管理系统、网上评卷系统;

2) 在系统上作答,如系统内嵌的调查表、量表;

3) 导入固定格式的电子表格;

4) 手工录入纸质数据;

5) 扫描识别纸质填涂数据。

3.3.2分析和评价

1)分别使用数据管理工具、统计分析工具和评价模型设计工具完成数据分析工作;

2)统计分析工具的统计指标包括学业水平、管理水平、教学水平、德育水平和健康水平各方面的指标;评价模型工具分别进行学校评价、校长评价、教师评价以及学生评价方面的模型;

3)学生评价信息不仅包括考试成绩,还包括平时作业记录、教师评语、家长反馈、德育、体育、身心健康水平等信息,对全程监控学生综合素质,从而有针对性地提高学生自身能力,克服缺点,加强教师的针对性辅导等各个方面都有深刻意义;

4)教师的评价信息纳入评价系统,对于教学质量的监控和考核提供强有力的信息基础。评价来源包括:教师互评、学生对教师评价、上级(校长等)对教师的评价、历次考试结果评价、教师教学研究等;

3.3.3分析报告查询

1) 根据不同的数据层和角色权限能得到相应的分析结果。

2)根据管理要求,教育局局长,教研室主任,校长等各类角色可查询和下载所需要的报表及分析结果;

3)所有角色设定不同的权限,如家长只能查询自己学生的信息,课任老师只能查询该课程的所有学生信息;

4) 系统基于互联网建立,任何连通互联网的地方均可进行此项操作。

 平台网络结构图

4.教育测量与评价服务平台的意义

第一,平台将构建出信息化条件下的数据管理与网上评价系统。这对于建设各区域和各学校教学质量分析数据库,深入开展教学质量的数据分析与评价研究,进一步加强对教学质量的监测和督导,具有重要的实用价值和理论意义。

第二,平台提供了全面提高教育质量的技术手段。通过开展教育测评活动,可以了解掌握学生、教师、学校和各级教育行政管理部门等各方面发展的真实情况,反馈信息,及时纠正偏差,总结成绩,扬长避短,从而有效地促进学生综合素质、教师教学水平、学校和教育行政管理部门管理水平的提高。

第三,平台提供了监督激励学生奋发向上的有效手段。通过开展教育测评活动,可以全面监察学生的学习和发展情况,同时会激发学生争先进的欲望和情绪,创造出一种良性的竞争氛围,起到激励奋发的作用。

第四,平台提供了诊断、改进问题的科学手段。通过开展教育测评活动,可以及时发现学生学习和发展、教师和学校教育教学、教育行政管理过程中存在的问题和缺陷,针对这些薄弱环节作出科学诊断,提出切实有效的改进措施。

随着教育测量和教育评价理论研究以及信息技术和互联网技术的发展,使得对教育体系及其全过程的测量和综合评价在技术上已经可以实现。“基于互联网的教育测量与评价服务平台”的研究将深入开展教学质量的数据分析与评价研究,大大促进教育评价标准体系的进一步发展和完善,将会给国家倡导的综合素质教育、学生个性化发展、教育资源的合理分配与优化和国民基本素质的提高都将带来巨大的社会效益。

【参考文献】

[1]戴家干.改造我们的考试[M].北京:高等教育出版社.2008.

[2]林其天.论我国基础教育建立自身质量评价制度的紧迫性[J].福建师范大学学报(哲学社会科学版),2010(1).

[3]杨悦.学业质量评价的实效性研究[J].辽宁师范大学学报(社会科学版),2010(5).

[4]刘尧.我国基础教育评价的回顾和反思[J].教育测量与评价,2008(7).

 

教育测评研究成果