真爱梦想|“梦想中心”影响力评估报告

一、引言 真爱梦想本着培养学生成为“自信、从容、有尊严的人”的理念,自2008年至2016年底已经累计投入了4亿元,在全国兴建了2500多所梦想教室,让200余万师生受益。那么在参与各方都为此壮举有收获并感叹的同时,是否也需要停一停来提出并回答一些更加深层次的问题。例如:在基金会和参与各方投入了这么多人力、物力和财力的前提下,到底项目产生了哪些影响?更进一步的思考是:我们怎么才能“将好事做得更好”?基于此思考,基金会聘请了以中国科学院农业政策研究中心、北京大学中国农业政策研究中心、陕西师范大学教育实验经济研究所,以及斯坦福大学为主的农村教育行动计划(REAP)团队来对该项目的实施效果开展第三方独立评估。 该评估项目的目标在于通过科学严谨的评估,分析“梦想中心”项目对学生身心健康成长的影响及其影响机制,同时分析对教师本人的影响及其影响机制。在此基础上,总结“梦想中心”项目的经验,为进一步完善“梦想中心”项目的实施提出可操作的实证依据。 二、影响评估方法选定 开展科学的影响评估,最核心的问题是如何“归因”?换句话说就是怎么确定参与项目后的变化是由项目干预产生的?而回答此问题的核心前提条件是选对合适的影响评估方法。而采用什么样的评估方法的核心又是如何才能找到很好的反事实对照。所谓反事实对照就是看假定参与项目的学校如果不参与项目会是怎么样的一个变化结果,然后对比学校“参与”或者“不参与”的变化。而从方法上来说,最好的方法是“随机干预试验”。这种方法是事先选出足够数量的学校,首先进行基线调查,然后依据评估计划考察的关键变量,将干预组和对照组随机进行分配,形成统计学上的“双胞胎”。之后是一组进行干预,另一组就作为“反事实”对照。这样经过一段时间干预之后,再对干预组和对照组进行评估调查,这样来比较两组之间变化的差异就可以归因为项目的效果。但是,对于一些干预组与对照组的选定并非随机决定的干预项目,我们没有条件做随机匹配,在这种情况下,我们就需要考虑采用“准实验方法”。 鉴于梦想中心建立和梦想课程开课并不能随机决定,故这不是一项严格意义上的随机干预试验,本次评估采取了准试验的评估方法。具体而言,评估团队在考虑评估科学性的同时,从实际情况出发,采用倾向得分匹配(Propensity Score Matching,PSM)与倍差(Differences in Differences,DID)相结合的倍差匹配法(PSM-DID)来完成数据分析过程,这两种方法的结合综合了两者各自的优点。具体来说,PSM指的是基于基线调研的数据,将干预组与对照组学生的关键特征(如年龄、性别、家庭基本信息、学习成绩、心理状况等)进行匹配,以构建合适的反事实情况,从而尽可能减少那些可以观察的特征对评估的关键结果变量可能造成的影响;在分析评估数据时,以DID的方法剔除了干预组和对照组之间不随时间变化的一些共同趋势(如学生性别、家长受教育水平等)可能造成的影响。 作为对评估结果的稳健性检验,评估团队不仅做了Intention to Treat on the Treated (ITT),同时做了Average Treatment on the Treated(ATT)的分析。其中,ITT是基于评估设计时的干预状态,不管干预组到底有没有真正实施干预,都按照干预组来分析。具体到本项目,一个样本学生或者老师只要来自“梦想中心”的项目学校就按照干预组来算,不论老师是否参加基金会的培训,不论老师回到学校以后是否真正给学生开设梦想课。所以说,ITT评估的是被分到“梦想中心”项目的学校其老师和学生们受到的影响。相比之下,ATT考虑到了干预组对干预的依从性(compliance),分析的是被分到“梦想中心”项目学校而且真正上了梦想课的老师和学生们所受到的影响。不难理解,ATT的结果在绝对值上应该比ITT大,因为ATT分析针对的是那部分不仅被分到干预组而且真正实施了干预的学生和老师的影响。 三、评估对象与工具 从成本与科学性的角度考虑,开展影响评估并不一定需要将所有参与项目的学校均纳入到评估范围,其具体评估数量取决于统计功效(Statistical Power)的科学计算结果。所谓统计功效,指的是评估多少样本才能够保证干预本身的效果在统计学上具有显著性。该评估总共需要166个样本学校,其中85所是由基金会提供的干预组学校,81所是由评估项目组在干预组学校附近选取的与干预组尽可能相似的对照组学校。 按照影响评估的要求,基于梦想中心干预可能影响的“因果链”分析,能对项目最终效果可能产生影响的各种因素主要有四大类:校长对项目的态度、教师接受培训的质量、教师上课的态度、能力与实际情况、学生的态度与上课情况。经评估团队与基金会协商,本次项目的评估对象包括:该校的校长,2014年基线调研中随机选取的样本班的全体学生,以及该班的班主任老师、数学老师、校本或生活实践课程老师、真爱梦想课程老师。 在项目评估期间,85所干预组学校陆续开展了1-2个学年不等的梦想课程的教学任务,梦想课程的主题由各校老师自主选定,课程频率与上课方式方法也由老师们自由把握。 在基线、中期和末期调研中,经统一培训的调研员,严格按照统一的调研规程,采用统一的调研工具实施了调研。 四、初步主要结果小结 以下是对评估的初步主要结果的简要汇总:
(一)干预强度结果
干预强度直接会对干预结果产生影响,而评估结果显示:学生自我报告的开课频率是大约每4周上1次梦想课,远远少于项目设计所希望的每周开课1次的频率。
(二)项目对学生的影响分析(包含学业和非学业两个方面)
评估组选定了评估中常用的以标准化的数学成绩来衡量学业表现,同时以基金会聘请的项目评估顾问推荐的心理量表来衡量学生的非学业表现的影响。以下呈现的是项目对学生层面影响的部分结果。1. 数学成绩方面:在经过两年的梦想中心项目后,上过梦想课的学生与没有开展项目的学校的同年级的学生比,成绩多提高2分左右(以满分为100分算)。产生积极变化的原因可能在于项目所提供的活泼愉悦的课堂氛围与相对轻松的师生关系,减弱了学生对课堂、老师与学习的压力感受,激发了学生的学习积极性与学习兴趣,改善了学习成绩。2. 金钱观方面:上过两年梦想课的学生,梦想课明显提高了他们对金钱的作用与价值的看重程度。发生明显变化的原因可能在于,课程中有《理财课》及其他类似的让学生学习、锻炼生活技能的课程,学生通过对这些课程的学习及生活中的实践,进一步体验到了金钱在生活中的作用,从而改变了自己对于金钱的态度。 3. 权利观方面:上过两年梦想课的学生,梦想课明显提高了他们对权利的作用与价值的看重程度。发生明显变化的原因可能在于,梦想课程的学习形式(小组合作等)以及学到的有关生活技能的内容,让学生体验到了权利的作用,从而改变了自己对于权利的态度。 师生关系、自我效能、公正信念、幸福感方面:在上了两年的梦想课后,学生这几个方面没有发生明显的积极变化。出现该结果的原因可能在于,学生心理健康状况的变化是一个缓慢的过程,而且心理健康状况受多种因素的影响,在短短2年的项目中,其心理健康状况可能还无法或不够时间发生变化。
(三)项目对教师的影响分析
数据分析没有发现项目对于“梦想中心”学校的教师的职业枯竭状况、工作效能感、工作投入与工作意义感、幸福感方面有明显积极影响。出现该结果的原因可能在于,教师的心理健康状况受多种工作、生活因素影响,仅仅通过给老师做培训,安排老师上梦想,可能不能“抵抗”其他工作、生活方面对老师们产生的心理压力。
(四)质性访谈结果小结
影响评估的目的是在用大数据呈现项目干预效果的前提下,更要看产生这些影响(无论是正面还是负面)背后的原因和机理,回答为什么有影响或者没有影响?以便能在今后的工作中能够为提高项目影响进行设计或操作(实施)等层面的改进。在这一点上,开展质性访谈就非常有必要。故本评估也对不同的人群进行了深度访谈。在面对面访谈中,大多数教育局领导,学校分管领导,课程教师以及学生都表达了对“梦想中心”项目的肯定或者喜爱,同时也提出了对项目的希望。1. 教育局领导方面 认为“梦想中心”项目为解决教育问题提供了一种思路,梦想课程是全能教育,但是校长的态度与老师的稳定性是关键。 同时希望基金会能够提升对老师的培训强度与质量,加强与地方教育局与学校的课题合作,并增加项目在学校的投资比例。 2. 学校分管领导方面 梦想课是一种校本课,过渡性课程、服务性课程,但是学校是否开展以及开展的频率、形式得由学校根据自己的实际情况决定,不能有硬性规定。更加适合小学阶段的教育,到了初中还是要以中考为主。课程能够让学生放松,提高了学生的自主学习意识。 3. 课程教师方面 梦想课是一门需要学生参与的活动课,能够让学生有兴趣、开心地学习,能够让学生变的自信并且学到很多东西。 4. 学生方面 梦想课让学生了解更多知识、道理,是一门实用的课程。上梦想课让学生觉得非常开心。梦想课能够帮助学生成功,在梦想课上大家都是公平、自信、互帮互助的。梦想课激发了学生的学习兴趣,提高学生的实践能力。 五、结语 开展影响评估的目的并不是简单的评判项目对目标群体是好(有影响)或是坏(没有影响)。评估更重要的目的是要回答为什么“好”或者“不好”?以便决策者在今后继续推进类似项目时做好必要的修正和改进。 而项目要想达到预期的效果,并不是凭项目倡导方(基金会)的一厢情愿就能够实现的,而是需要项目实施过程中参与的各方共同努力才能保障项目效果的实现。以梦想中心项目来说,影响项目效果的除了梦想课程设计、梦想老师培训外,还有梦想课程开设的频次(干预强度)以及从学生、家庭、老师、学校和教育局等各个环节的作用结果。评估可以反映这一链条中哪个环节需要在今后的项目实施中加强?做到这些,我们评估的目的就实现了。我们的共同目标是“将好事做好”
非特殊说明,本文版权归原作者所有,转载请注明出处。