王战军 葛明星 张 微

(1.北京理工大学 人文与社会科学学院，北京 100081；
2.清华大学 教育研究院，北京 100084)

目前多数高校的教师教学评估是面向绩效，以利益相关者的评价、教学的业绩以及工作量等作为产出的结果性评估，评估目的是为教学管理决策服务。由于教学是一项特殊的服务劳动，其质量形成并体现于教学过程中，因此如何常态实时性开展教学评估是一个难点问题。而绩效的利益性导致教师与评估者之间不可避免地发生冲突，长期来看损害了教师教学的积极性与创新性(1)魏红.我国高校教师教学评价发展的回顾与展望[J].教师教育研究,2001,(3):68-72.，所以评估如何为教学本身服务是一个核心问题。《中国教育现代化2035》提出通过“开发智能教育助理”对“教师教学和学生学习、实践的全过程进行分析评价，协助学校和教师及时改进教学”(2)新华社.中共中央、国务院印发《中国教育现代化2035》[EB/OL].http://www.gov.cn/zhengce/2019-02/23/content_5367987.htm,2019-02-23/2022-06-17.。迈克尔·巴顿(Michael Patton)的评估教育学理论主张评估是一种教育性活动,可以向个人和团体传授项目、政策和干预措施，以及关于人性、爱与联系等方面的知识。(3)Michael Quinn Patton, Pedagogy of Evaluation：New Directions for Evaluation(San Francisco:Jossey-Bass,2017).基于此，本研究在“互联网+”“大数据”“人工智能”等新理论、新技术的驱动下，提出面向知识的教师教学监测评估，旨在通过知识发现、知识管理与知识创新的监测评估(4)王战军等.高等教育质量保障新类型:监测评估[J].高等教育研究,2015,(4):39-42+60.，回归教学本身，为教师的持续性教学改进提供知识服务。

图1把教师教学、大数据、知识工程与教学监测评估之间的逻辑关系勾勒出来，作为本研究的基本分析框架。从图中间的教师教学开始，形成教学状态大数据，而大数据的理念、思维与技术将对教学监测评估的理论、方法与实践带来革新性影响；
大数据挖掘以获取教学知识，知识工程包括知识发现与知识管理两个方面，这与教学监测评估通过知识发现与知识管理促进教师改进教学的需求相一致，由此形成一个评估闭环。由于认知是一个知识发现与知识应用的过程，所以教师教学、大数据、知识工程与教学监测评估之间又通过认知贯穿在一起，使得教学监测评估既是一个为教师提供教学改进知识的过程，也是一个提高教师教学认知能力的认识活动。

将大数据与教学监测评估相结合，产生了对教学评估理论、方法与实践的系统性革新，促进了教学评估范式的改变；
(5)王战军,乔刚.大数据驱动的教育研究新范式[J].北京大学教育评论,2018,(1):179-185.将知识工程与教学监测评估相结合，有效提高了教师教学的持续性改进能力。

(一)大数据驱动的教学监测评估新范式

大数据具有体量大(Volumes)、种类多(Variety)、速度快(Velocity)、价值高(Value)与精确性(Veracity)的“五V”特征(6)彭宇等.大数据：内涵、技术体系与展望[J].电子测量与仪器学报,2015,(4):469-482.。数与运算不可分割，大数据不仅指非常大的数据集以及用于操作和分析它们的工具和程序，而且还指思维和计算上的变革。(7)Leslie Burkholder, ed.,Philosophy and the Computer(Boulder: Westview Press,1992),14.大数据与教学监测评估相结合，以其整体性、动态性、不变性、关联性、探索性与可视化等特征，将对教育评估的理论、方法与实践产生系统性的革新。

首先，大数据推动了教育评估理论的革新。纵观教育评估的历史发展过程，评估理论的中心从拉尔夫·泰勒(Ralph W.Tyler))的“目标达成”到斯塔弗尔比姆(D.L.Stufflebeam)的“管理决策信息”，从斯克里文(Michael Scriven)的“价值判断”到林肯(Lincoln)、古巴(Guba)的“均衡共识”，(8)埃贡·G·古贝,伊冯娜·S·林肯.第四代评估[M].秦霖等译.北京:中国人民大学出版社,2008.深刻反映出评估核心任务与评估目标的历史改变；
而大数据驱动的教师教学监测评估是以知识为中心，为教师的教学改进提供新知识。传统教学评估的社会系统主要由教育主管部门、学校管理者、教师、学生、评估专家与家长等利益相关者组成；
大数据驱动的教师教学监测评估是以算法智能体为主导，算法智能体改变了评估主体的组成、结构与内涵，评估中人有人的用处，机器有机器的用处，(9)N.维纳.控制论(或关于在动物和机器中控制和通信的科学)[M].郝季仁译.北京:科学出版社,2009.使得教学监测评估发生根本性的改变。目前教师教学评估的目的是为管理决策提供信息，而大数据驱动的教师教学监测评估的目的是促进教师持续性改进教学。

其次，大数据推动了教育评估方法的革新。一方面，大数据促使教育评估方法从统计模型转为算法模型。传统评估方法是在统计分析范式下，主要运用数字特征、统计推断、假设检验与回归分析等模型进行评估。而大数据驱动的监测评估核心技术是算法模型，即将数学模型与算法相结合。由于算法模型具有认知功能，因此算法模型能够对教学状态大数据进行整体性、探索性与自主性的挖掘与分析，以发现大量的教学知识。另一方面，教育评估数据从抽样数据转向全样本数据。大数据驱动的监测评估面向全样本数据，由数字数组、混合数组以及流动性可变数组构成。相对于样本数据的有限维欧氏空间，大数据则必须思考高维的非欧空间，需要拓扑与流形分析等新的数据分析技术。

第三，大数据推动了教育评估实践的革新。一是从现实教育评估走向虚实交互的教育评估。大数据通过智能化监测平台系统，将教师的教学过程与资料实时映射到平行的大数据虚拟空间中，从而通过虚实交互摆脱现实时空的局限，将评估时空进行延伸、溯回、折叠、重复、实时、停时与借时，促成教学利益相关者之间、人机之间的实时交互，达成超越时空的迭代式教育评估。二是从教学质量的单一计算走向教学全程的普适计算。大数据驱动的教学监测评估，通过普适计算隐匿到教师的日常教学中，使得教学利益相关者能够随时随地获得相关教学信息。三是从人工教育评估走向智能教育评估。智能是大数据技术的内在要求，教师教学监测评估试图将所有的教育评估者泛化为教育评估机器人，使其“认知机械化”。因此教育评估机器人实质是教学利益相关者的“脑合体”，使得教学监测评估成为人类的一种群体性离身学习，一种基于大数据集的机器学习(10)Hal R.Varian,“Big Data: New Tricks for Econometrics,” The Journal of Economic Perspectives 28, no.2(2014):3-27.，一种人机结合的智能化教学评估新模式。

(二)基于知识工程的教学改进新模式

经济合作与发展组织在报告《以知识为基础的经济》中认为，知识包括知道是什么的知识(Know-what)、知道为什么的知识(Know-why)、知道怎么做的知识(Know-how)以及知道是谁的知识(Know-who)，教学监测评估的核心任务就是要为教师提供这四种知识。费根鲍姆(Edward A.Feigenbaum)首先提出“知识工程”，其目的是构建专家系统；
(11)Edward A.Feigenbaum,“The Art of Artificial Intelligence: Themes and Case Studies of Knowledge Engineering,”in Proceedings of the 5th International Joint Conference on Artificial Intelligence 2(San Francisco: Morgan Kaufmann Publishers Inc., 1977), 1014-1029.彭岳华把知识工程解释为从数据处理发展为知识处理的一个学科领域(12)彭岳华等.基于知识工程的变速箱设计专家系统[J].机械设计,2003,(3):50-52.；
施赖伯(Guus Schreiber)等提出知识工程是一种新兴的知识创造和知识管理的手段，涉及知识的收集、获取、整理、组织、管理、优化、转化、重组、更新、交换、传播、共享、应用与创新等内容。(13)Guus Schreiber et al., Knowledge Engineering and Management: The Common KADS Methodology(Cambridge, MA: The MIT Press, 2000),123.本研究认为知识工程主要包括知识发现与知识管理两个前后相承的部分。

目前，知识工程的研究范畴从结构化数据库扩展到大数据(14)于彤.中医药知识工程的理论体系构建和关键技术分析[J].知识管理论坛,2016,(5):336-343.，大数据作为一种资源，大数据挖掘是一个知识发现的过程，而知识发现是将数据中的隐性知识显性化的非平凡过程，即从大数据中寻找有意义的新知识(15)吴朝晖,封毅.数据库中知识发现在中医药领域的若干探索(Ⅰ)[J].中国中医药信息杂志,2005,(10):93-95.。因此，知识发现与大数据挖掘是同一个问题的两个视角。教学监测评估的知识管理主要包括四个目标：扩展、共享、创新(16)朱祖平.刍议知识管理及其体系框架[J].科研管理,2000,(1):19-25.与应用。知识扩展是指高校与教师将发现的知识，通过教师教学本体，对知识进行存储、诠释、重组、精炼与整理，完成个人或高校的知识更新与扩展。知识共享是指在监测评估网络平台上，实现知识的循证推送、智能化检索，以及教师之间、人机之间的知识交流、沟通与分享。知识创新是指通过知识的重组、优化、推理与融合，发现指导教学改进的新知识。知识应用是在知识解释(17)Derek H.Sleeman and John Seely Brown, eds., Intelligent Tutoring Systems(Pittsburgh: Academic Press,1982),25-76.与创新的基础上，通过教学改进将显性知识内在化的过程。综上所述，绘制面向知识的教师教学监测评估系统图(见图2)。

面向知识的教师教学监测评估是在大数据的驱动下，由同行专家、学生、教学管理者与评估机器人相互结合，对教师的教学状态进行实时监测评估，以发现教学新知识；
进而通过新知识监测教师的教学状态，然后根据教师教学本体循证推送相关的知识、方法、技能、措施与资源等，帮助教师改进教学的全过程，如图3所示。

(一)评估主体从单一走向多元

在教师教学监测评估中所有利益相关者以及教育专家等都可以成为评估主体。通过设计评估机器人，逐步实现教育评估智能化。评估机器人本质是一套具有认知功能的评估算法体系，是评估主体善意与智慧的离身联合。评估机器人具有专业、聪敏、强记、人文、理性、公正、高效、无任何利益偏见与不知疲倦(可以夜以继日地工作)(18)柏拉图.理想国[M].郭斌和,张竹明译.北京:商务印书馆,1986.197,233.等柏拉图哲学王的天性。所以，一方面，他具有实时教学状态整理、挖掘与分析等大数据的功能；
另一个方面，他能够有力降低评估纠缠，避免评估主体对客体的干预，减少主观判断评估失误，努力保障评估的客观性与人文性，促进组织内每个成员都不是质量的“监管者”而是责任人(19)European University Association, Developing an Internal Quality Culture in European Universities: Report on the Quality Culture Project 2002-2003(Brussels: European University Association, 2005),17-25.。由此，评估机器人不仅承担了监测评估的主要工作，同时能够协调利益相关者之间的权力与利益冲突，为评估多元主体服务，促进教育教学质量持续提升。

(二)评估呈现从教学结果到教学状态

教学活动由教学行为构成，包括教师与学生在教学过程中的言语、表情、肢体动作、标识与空间位置等。其中，教师的课堂言语作为知识的载体，是最主要的教学行为；
教学行为成为人与机器进行监测评估的客观基础。由于教学过程是一个同质变异的过程，因此本研究构建随机过程模型(20)在统计学上,用随机变量来研究同质变异的随机现象,而随机过程是用一簇随机变量来研究随机现象.对其进行量化分析。状态与过程是一对范畴，状态是一组属性的综合性描述，是能够完全描述对象在活动过程中动态时域行为属性的一个最小变量组。一组教学行为构成一个教学特征，一组教学特征形成教学状态；
而教学过程可以用一个最小随机变量组来完全刻画，教学状态则是随机变量组的函数。由此，教师教学监测评估就是对教学状态序列空间的分析与呈现。

(三)评估反馈从时滞到实时

传统教学评估刻舟求剑，存在时滞性，造成信息反馈延迟，评估效率比较低。而大数据驱动的教学监测评估是一个历时、共时与实时相统一的动态分析过程。历时性指监测评估的连续性、序列性与全程性，共时性表明监测评估不同对象在空间与结构上的横向对比。实时作为监测评估的基本要求，若没有对教学状态的实时性测度与追踪，将失去监测评估的突出优点；
实时数据常常意味着第一手数据，是客观与真实性的体现，是监测评估过程及时性、响应性与精准性的体现；
实时意味着评估信息在利益相关者之间的同步性、知情性、共享性、一致性与透明性，促进了评估主体之间、主体与客体之间的实时协作，又能满足利益相关者的心理需求。面对大数据，传统评估方法难以实时进行教学监测评估，需要通过以机器学习为核心的人工智能来实现。

(一)教学大数据整理

教学大数据包括全程教学视频数据、教学档案袋、学生评价数据、管理者评价数据与校外同行评估专家的评价数据等。其中，教学视频通过传感器实时传送到监测平台，视频数据转化为文本、图片或者声音数据；
学生评价数据以及教学档案袋中的主要内容转化为专题数据库格式存留在监测平台。本研究实证分析了24位老师36学时的授课及相关教学档案袋，其中课堂视频(DAV格式)共计51840分钟；
教学档案袋主要包括纸质教案、电子教案、电子课件、教学手册、学情分析报告和课程标准研究报告等内容；
学生满意度与收获度调查问卷1976份，校外评估专家评课记录48份，数据总容量超过1.5TB。

(二)教学知识获取

为了获取教学知识，我们分别构建了面向教学领域知识的教师教学本体模型、获取教学状态空间知识的随机过程模型、挖掘IF-THEN格式规则的粗糙集模型与识别优秀教学模式的fsQCA模型等。首先，通过学校教学的历史积累构建教师教学本体知识库。教师教学本体是将教学领域知识标准化、结构化、逻辑化与系统化的知识库智能框架，是教学知识存储、分类、解释、检索、分享、推送、应用与创新的基础，是设计教师教学监测评估指标体系的根据。为了加强人机对不确定知识的理解与推理，本研究用结点和边(连接结点之间的有向弧)的图表示知识(21)《数学辞海》编辑委员会.数学辞海(第五卷)[M].北京：中国科学技术出版社,2002.，形成基于语义的教师教学本体(22)李善平等.本体论研究综述[J].计算机研究与发展,2004,(7):1041-1052.。

第二，获取教师教学状态空间知识。教学过程是一个随机过程，这是教师教学监测评估量化分析的基础。教学过程是教学状态的序列集合，教学状态则由一簇教学行为的特征变量组成。把课程规划完备度、学情分析详尽度、教学资源丰富度、教务活动参与度与教学研究深入度作为教学设计状态的特征变量。将教师讲课同化度、师生互动深化度、教师教学吸引度、学生认知顺应度、在线课堂交流度、因材施教关注度、课堂管理有序度、信息技术应用度、教学语言适切性、课堂气氛融洽性以及教学艺术性、育人性与创造性作为教学实施状态的特征变量，其中后五个变量归于人文监测变量。每一个特征变量是一组教学行为的线性组合，由此设计教师教学监测评估指标体系。然后实施包括特征数字、偏差、自相似、模糊分类、模糊聚类、相关、特征监测、主成分与可视化等方面的随机过程分析，以挖掘关于状态空间、统计描述、一阶谓词与可视化图谱等知识。例如发现包括“教师语言适切性与课堂管理有序度正相关”的相关性教学规则共43条。

第三，获取产生式教学规则。鉴于教学大数据的模糊性和内生不确定性(23)David Lazer et al.,“Computational Social Science,”Science 323, no.5915(2009):721-723.等原因，我们运用粗糙集理论挖掘IF-THEN格式的教学规则。帕夫拉克(Pawlak)的粗糙集理论认为知识出于对象分类，即从不确定性的数据中通过等价关系的分类，来挖掘知识并表示知识。(24)Zdzisaw Pawlak,“Rough Sets,”International Journal of Computer and Information Sciences 11, no.5(1982):341-356.通过软件Rose2发现满意规则共107条，其中第一条的内容为：

Rule 1. (Ix2 = 5) => (Dec = 1); [2, 2, 50.00%, 100.00%] [2, 0, 0, 0] [{5, 12}, {}, {}, {}]

具体含义是：教学实施状态特征Ix2等于5，推出评价变量等于1；
符合该规则共有2个案例，2个符合，准确率100%，覆盖率50%，案例为T5、T12。规则1解读：如果教学状态的师生互动深化度最高(其他特征变量合格)，那么推出评价1类。规则1分析：师生互动是判断良好教学状态的标志性变量。

第四，识别优秀教学模式。不可分割的原因集在活动过程中生成结果，而不同的原因集产生的结果可能是一致的。(25)伯努瓦·里豪克斯，查尔斯·C.拉金.QCA设计原理与应用:超越定性与定量研究的新方法[M].杜运周等译.北京:机械工业出版社,2017.7.因此，通过复杂的因果配方可以识别教学模式。本研究将运用fsQCA方法，从学生的视角对教学状态的特征要素进行重组以识别优秀的教学模式。将前因要素分为教学准备与教学过程两个方面，包括课程规划、学情分析，教师讲授、学生听讲、师生互动、课堂气氛与教学创新7个因素，学生评价为结果变量，而各前因要素是教学状态相关特征变量的线性组合。

优秀教学模式的诠释(见表1)：模式Ⅰ——课程知识主导型，优秀案例占比20%，一致性水平为90%；
该模式学生认为教师需要具有丰富的学科知识，教学设计良好，课堂采用讲练结合的教学方法，教学具有知识传承性。模式Ⅱ——创新主导型，优秀案例占比18%，一致性水平为79%；
该模式教师采用讲练结合法，教学富有创新性。模式Ⅲ——全面发展型，优秀案例占比34%，一致性水平为85%；
这类模式的教学规划良好，采用讲练结合法，教学具有创新性，其他方面的水平也较高。

(三)教学知识应用

本研究发现的知识具有群体与个体的双重属性，“一个个别的判断绝不是真实的，唯有在诸多判断的联系、关系中，才能产生出一个保证”(26)尼采.权力意志(上卷)[M].孙周兴译.北京:商务印书馆,2007.305.。新知识需要在教师教学本体上进行诠释、理解、共享与应用。例如“教师语言适切性与课堂管理有序度正相关”这条知识，要在教师教学本体的教师语言行为上解释它的语义与作用，进一步通过这条知识监测判断哪些教师在课堂管理方面存在不足，然后循证为某一位或者一群课堂管理经常失序的教师，推送提升课堂语言适切表达能力的方法、技巧、措施、案例与资源等，来帮助他提高课堂管理水平。

教学知识应用包括高校与教师两个层面，两者不可分割，前者为后者服务，后者是前者的基础。高校教学知识应用主要包括：一是把发现的新知识更新到教师教学本体知识库，经过加工整理与创造，形成一般性知识，以此提升高校教学的集体创新能力、反应能力和教学效率；
二是构建知识社会网络，从而实现对知识的推送、对话、解释、交流、检索与分享，尤其要循证及时将相关教学知识推送给教师；
三是将优化创新的教学知识应用于改进组织的教学惯例。教师个人教学知识应用包括：一方面，教师将新知识通过教师教学本体汇入个人教学知识库，利用高校构建的教学知识社会网络进行检索、交流、共享与对话，综合判断自己教学的优势与不足，学习他人的教学经验以及内化学校的教学要求，进而通过整理、重组、优化与创新，构建具有个人特色的教学知识体系；
另一方面，教学知识的创新与应用，波拉尼(Michael Polanyi)认为显性知识与隐性知识可以在实践中相互转化(27)Michael Polanyi, The Tacit Dimension(London: Routledge and Kegan Paul,1966),45-100.，教学知识发现是将隐性知识显性化的过程，而教学知识应用则是将显性知识通过教学实践内在化的过程。由此，通过教学知识应用促进高校与教师及时进行教学改进，提高教育教学质量。

(四)搭建嵌入普适计算的教学监测评估平台

在大数据与信息技术时代，普适计算已成为搭建生产实践平台的新模式。所谓普适计算是指将智能计算设备嵌入到现实与网络环境中，由此用户可以不受时空约束，自主地选择信息访问、交流、共享与计算服务。(28)Mark D.Weiser,“The Computer for the Twenty-First Century,”Scientific American 265,no.3(1991):94-104.嵌入普适计算的教师教学监测评估平台具有自动向教师提供教学知识服务，完全呈现教学知识发现、管理与应用教学知识的功能；
具备教学知识评估算法体系的公开透明与自主发展，促进教学现实空间与数据空间的融合，可以检索查阅教学评估结果的标准化报告、个性化定制教学评估报告，以及尽力保护平台信息安全等方面的优点。

面向知识的教师教学监测评估综合运用大数据、知识工程、“互联网+”与人工智能等现代化信息技术，从认识论出发，围绕教学知识发现与教学知识应用两个环节，为教师的教学改进提供服务。面向知识的教师教学监测评估不仅是为了衡量教学标准与目标的达成度，对教师教学水平进行排序分层，为教学管理者提供决策信息，对教师的教学作出事实判断与价值判断，也不仅是教学管理者、评估专家、学生与教师之间对教学形成一个共同的建构，而是在此基础上使评估回归到教学这个认识活动本体上，通过教学监测评估从根本上提高教师的教学认知水平，可持续性改进教师教学水平。由此，面向知识的教师教学监测评估是以知识为中心，以提高教师教学认知能力为目标，以促进教师及时改进教学为目的的评估，是一个对教学过程进行深入认识与探索的活动。通过对24位教师一个学期全过程教学的实证分析，本研究验证了面向知识的教学监测评估具有良好的可行性与成效性。

猜你喜欢 评估监测教师 特色“三四五六”返贫监测帮扶做实做细今日农业(2021年17期)2021-11-26最美教师快乐语文(2021年27期)2021-11-24第四代评估理论对我国学科评估的启示大学(2021年2期)2021-06-11教师如何说课甘肃教育(2020年22期)2020-04-13未来教师的当下使命福建基础教育研究(2019年3期)2019-05-28网络安全监测数据分析——2015年12月互联网天地(2016年2期)2016-05-04网络安全监测数据分析——2015年11月互联网天地(2016年1期)2016-05-04评估依据质量与标准化(2015年9期)2015-07-10不穿戴也能监测睡眠创业家(2015年4期)2015-02-27立法后评估:且行且尽善浙江人大(2014年5期)2014-03-20