J. Fredericks Volkwein，宾州州立大学荣休教授、《院校研究新方向》前主编
正如我上午所说，这样一个会议好处多多，可以让大家共同分享各自的观点，我很惊讶几位发言者所演讲的内容可以说是有很强的互补性，在座的各位怕是都要怀疑我们坐在一起写的稿子了，其实不是的，我们是各自分开写的发言稿。但是我想在座的诸位也开始注意到在院校研究方面，我们所面临的一些共同的问题，正是针对这些共同的问题，我们才衍生出了不同的讨论话题。现在让我们继续讨论有关院校研究的方向转变，院校研究的作用，评估结果以及效益测量等问题。
今天上午我们说过，由于世界高等教育的竞争形势日益严峻，市场份额也逐渐被更多新出现的大学以及其他提供教育的机构所分割。为了加强自身的竞争力，每一所大学都希望能够抢先一步得到一些有用的讯息，所以院校研究办公室的成员们就需要帮助校长这位“船长”调整航向，助力其所在的大学在竞争中拔得头筹。
之前我们就说过，院校研究办公室更加像一个情报组织，为决策提供支持，关于这一点Bob David已经做了详尽的说明，我在此就不赘述了。下午我要和你们讨论的话题主要分两个部分，一个是要回顾一下在过去6、7年中院校研究所进行的实践工作，迄今为止，世界上已经有不少关于院校研究的调查。我们现在了解的很多关于院校研究的内容很大部分是来自于20世纪八十年代我在奥本尼所开展的调查，八年前在宾夕法尼亚州也进行了一次，近期的调查是在日本进行的，欧洲以及中东也都有相应的调查开展。比如，我们在宾夕法尼亚州以及加拿大进行的调查就涉及1100所高校中的院校分析办公室。所以我们在院校研究中所做的事情，有一部分就是反思结果，通过对结果的反思来看看到底是那些事情导致了这样的结果，事实上我向大家推荐这一种策略，可以将之视作院校研究开始时的一种方法。现在我想和大家一起做的事情就是把我的结论先提出来，然后再列举出更多的引导出这些结论的细节。要是你们喜欢我的讲座，吃完了饭想要美美地睡一觉也是可以的，要是有人想中途离开，我会把我的研究结论先放出来，这样你们就不会错过啦。
各位请看，这是我的结论之一。院校研究已有50年的历史，在一开始的时候，院校研究的主要任务还只是测量入学人数，教职工收入，教学任务以及学位授予这样的事情，然后向管理层报告。如今这些重要的职能得以传承，此外院校研究处还需要进行数据分析以发现这些数据的内在联系，并尝试着使之对决策者进行决策制定时派上用场。早些时候我们测算诸如入学简况，教职工认证以及图书馆储书量这样的投入，现在我们关注学术成果，毕业率以及教职工论文发表情况这样的成果产出。在过去50年中我们进行了巨大的转变，从原先使用描述性的数据到使用强大的分析性工具以及卓越的模型。越来越多的院校研究处开始涌现，尤其是出现在了规模比较大的大学中，并且这些院校研究处配备有专业的工作人员。可以说，院校研究处已经进化为了一门集中而又具有多样性的核心课程。这里还有一些其他通过对院校研究进行调查所得出的结论。第一个，专业的院校研究评估依然处于生长期，与医学，工程学，教育学这样的学科比较起来，还是一个年轻的存在。对于院校研究处的成员数量，成员受教育程度，办公地址等事物，依然需要长足思考。虽然80％的院校研究处都已分析型工作为其主要任务，但是因为机构所处地域不同，院校研究的工作量也是有所差别的。根据学校权力的集中程度，每个学校的院校研究工作也会有所不同。接下来让我们看一些细节性的内容。
院校研究处到底需要做什么？从加拿大和美国的工作处看来，院校研究处的工作相对集中在数据分析方面，这些院校研究活动和收集并上报数据，紧接着对其进行研究相关。所以我们可以看到，院校研究的任务是数据分析和日常报告的结合。当我们研究每个院校研究处共同拥有的职责时，一张院校研究职能更为完整的图片将得以显现。通过将院校研究处集中以及共通的职能相连，我们可以看到许多工作处都在评估，效益，自我学习以及认证方面面临着分析性的压力。所有的情况都表明团队合作日益重要。通过对宾夕法尼亚州的调查分析，我们研发出了叫做“院校研究星”，通过这样的一个模型来阐述院校研究工作中六大主要领域。如果在座的各位有读过我在六年或是八年前发表的作品就会发现我曾经画出过一个院校研究三角形，通过对三个角的扩充形成了今天的星型图。这些分析功能决定了世界上所有大学的大多数的院校实践活动。一是机构报告，二是入学管理，三是学术，四是财务，五是信息技术和数据仓库，六是学科评估审核以及其他所有有关于院校效益的事宜。如今院校之间的不同就取决于他们将这些功能分离或结合在一起的程度。星型图的一个部分能否被更加地重视取决于院校研究处向谁进行工作报告，这也同时决定了哪项分析性工作优先进行。几年前，我研发了这个四分生态图来表明我从这些调查与讨论中所得到的启示。有一些院校研究处规模较小，发展也不健全，有的则在规模以及质量上都是上乘，除此之外，有的还分工十分明确，因此能够在院校的各个角落进行高效的研究活动。有的办公处只有一到两个人，这些人需要包揽数据分析与上报的工作，这样的办事机构往往出现在录取人数不足5000的院校中。但是在较大的院校中副校长以及各院的院长认为他们也需要自己的院校研究人员来提供一定的帮助。还有一种无固定结构型的，是3-4人的办公处，这样的办公处可以说是发展到了中等水平，他们有着简单的工作以及等级分布，他们仅仅处在专业化的开端。有的较小的办公处可能会发展成为专业官僚机构，尤其是当数据分析活动集中在单个部门的时候更有可能促成专业官僚机构的产生。这就表示着正规的院校研究处的编制至少是5位专业人士，或者是五人以上，最多能有多少人呢？以我自身为例的话，我离开奥本尼的时候我的团队已经由最初的四人发展到了10人。通过我们的调查，至少超过150个院校研究处存在着专业官僚机构的问题，这样的官僚机构往往是以一个拥有博士学位与多年经验的人为首。这些机构发展出了清晰的劳动分工以及地位等级，有的职位是由刚刚毕业的研究生，刚接触院校研究领域不久的人担任。这些机构能够进行一些高级研究项目，也可以说至少在美国与加拿大这是最为合适的工作形式。另外一种工作形式就比较常见了，就像我刚刚说的那样，副校长以及每个院的院长都想要一个专属的院校研究人员，这些机构就比较分散，时常是各自为政，在合作方面略显不足。所以在我看来，理想的院校研究处的工作安排应该是较为集中的。较为集中的专业机构不仅仅效率最高，如果是向校长负责那就再好不过了。这样安排的好处就在于组织中的每一个主要部分都明白当他们需要相关的意见时他们有求助的对象。从院校每一个决策制定者获得信息来看，这样的安排是最为合适的。在我拜访美国中东部的学校时我就发现很多学校的院校研究处跳过了发展的初级阶段，直奔专业官僚机构而去。在埃及，埃塞俄比亚以及其他类似的国家中，他们更是从一开始就形成了专业官僚机构，甚至都没有经历由小到大的进化过程，而且他们的为首人物往往是工程学博士，自然科学博士或者是数据分析学博士学位。
另外一个我从调查中所得出的结论是刚才我所提到的一些机构之间的不同于院校（机构）种类并没有非常大的联系，但是对于院校研究的成熟化发展有所裨益。最为成熟的办事处应该是有着一批专业人员，向管理层报告并以一个同时拥有博士学位以及多年工作经验的人为首的。办事处的成熟程度与进行的分析任务有着很大的联系。分析性工作与评估工作相关，评估与效益对任务等级的贡献最大。关于哪一类院校研究处更加能够有效投入评估工作，我刚才已经给出了我的建议。我们研究了在星型图中六个方面的所有分析性工作，从任务难度以及处理能力两个方面对相关机构进行解读，这样每个机构都能够在其成熟度以及分析能力方面得到反馈，我们主要是从办事处规模，向谁负责，主要负责人是否有博士学位与多难研究经验来开展调研。你可以从屏幕上的图看到，在分析的每一个方面，办事处越是成熟，得到的分数也就越高，你可以看到较为成熟的机构以及不太成熟的机构之间的区别还是非常之大的。
接下来我们来看看所有的院校在进行星型图中相关项目评定时所面临的一些困难。我想提前给各位提个醒，许多的学者，尤其是美国的学者，对于评估与评定之间的区别是十分挑剔的。我无法将这两个词互换，虽然我个人认为评估是一个更加确定性的过程，他能够改善学生的学习结果，这也是许多的研究人员想要达到的一个目的。虽然评定听上去更加有总结性一些，但是我想这两个都是可用的术语，都可以使用在以实证为基础和改良为目标的过程之中。因此无论是评价还是评定都可以被看做是一个正在进行的活动而并非是一种结果。许多的院校研究处根据其内部及外部的关注点大体上对自身的时间与精力进行了划分。
在我职业生涯的前一段时间里，我对古罗马的一位神灵雅努斯十分钟爱，因为他可以对我们今天早上所探讨的问题进行回答。我们是在同时进行着两件相悖的事情，罗马人曾经说过这样一句话：“当你穿过一扇门时，你既是进入，也是离开，你在同一时刻完成了两件不同的事情。”当学生毕业了，他们的离开意味着他们的学校教育已经结束了，但是同时他们也在走向生活的新起点。我们在生活中所做的事情都是具有两面性的，因此我想我们想要改变机构的内在情况，也许向内部管理人员提供相应的数据以及分析并不是唯一的方法，相反的，这正是一种外显地展示能力的方式。对于许多的院校研究专业人士而言，始终存在的挑战就是解决这种内在的矛盾，存在于内部的推动作用以及外在的总结性作用。我想把这些过程视作激励与实用之间的矛盾。
激励是让人做一些主观上想做的事情，而实用则更大程度上是不得已而为之。我想这才是评估和评定的问题所在。关于评估与评定之间的问题你首先需要向的就是设计出的评估或是评定方案要同时为两种需求服务，激励的基础是自我完善。高等教育不断地进行评估和评定并不是为了取悦外部人士，而是出于改善自身的需求。另一方面，实用则是看到了外界对高等教育发展的需求。更多的，对院校效益进行评估也有利于各个大学在招生人数以及教职工水平方面进行比拼。在院校比拼之中，那些能够测量到对学生产生了多大影响的大学往往在竞争中表现更加出色。这同时存在而又相互排斥的内部完善与外部责任为阐述院校项目效益以及引导院校研究日程奠定了首要基础。这是问题一。
问题二，在高等教育中什么才能叫做“好”是没有一个定论的。许多院校采用“资源-名望”模型，这个模型使得名望成为院校质量的指标，教职工的认证，对学生的测验以及外在的排名都是指标。如果想要我的学校以及相关部门的状况有所改善，政府必须给予相应的资金，这是规矩。但是很多的家长和学生所采用的却是另外一种模型，“客户中心”模型，这一模型是从质量管理文化中分化而来的，这种客户中心模型所强调的是，学生的满意才是对学校质量与效率最好的衡量标准。第三种模型是“战略投资”，这是大多数政府部门会采取的一种模型。这种模型强调的是投入产出分析以及产品测量，正是这一模型所强调的内容才让我们在上报录取人数以及学生开销方面的内容时倍感压力。在这一模式下，政府部门对院校的评定往往是从收支方面来进行的。因此我们有了校园的三方合作：教职工部门需要更好的资源以不断提高自身名望与学术质量，家长和学生想要更多的支持服务，政府部门则是想要提高管理质量还要能够对支出进行有效管控。夹在这些需求之间，校长进退失据，因此要求院校研究人员帮助他根据不同的状况制定出相应的应对之法。
问题之三，评估是一个非常复杂的过程。20世纪六十年代奥斯顿展示了第一张有关于院校研究的图表。他把我们可以测量的事物划分为行为方面的，诸如：选择科目，获取学位，选择职业以及心理层面的，诸如：心智成长，价值观养成，知识的获得等。多年来，很多的研究人员研发了多种方法来有效测量这些结果，并且决定哪些对院校发展有用，但是整个过程非常复杂。在我们的院校研究认证项目中，820个原因对应如显示屏上显示的这么多的结果。还有更加高效率的方式可以让我们去了解相关的成果，在宾夕法尼亚州的试验之中我们将其分为可理解的多个部分。回顾院校研究发展的历史，20世纪八十年代的认证哲学以及职责哲学使得院校将投入质量最大化，从而保障成果。20世纪九十年代这一风气逐渐变为鼓励院校测量成果，因此大学的重心更多的集中在目标达成上，尤其是对教职工以及学生质量的提高。外在的提高投入质量的压力虽然是减小了，但是却并未消失。日益增长的对行为的关注也迫使我们从结果往回看，研究也表明，投入与产出之间有着很强的可测量关系。因此，很多大学发现持续不断的在教职工以及学生认证方面进行关注可以有效提高自身效益。此外，过程测量也受到人们的关注，有瑕疵的教育过程是很难有好的教育成果的。教育过程中关键节点的测量可以使院校决定哪个大学政策可以产生最大或是最小的影响。评估过程十分复杂，因为我们需要对投入进行测量，这样的测量对学术成就，毕业率以及院校声望有着很大的影响。我们需要评价教育过程，并且对学生的课内课外经验进行点评，因为二者对学生的影响都很大，最后我们还需要评估成果产出因为结果才是最重要的。第四个问题，为了让评估工作更加的精确你可以提出五个相关的问题，这些问题将在收集证据与数据方面带你走上不同的道路。起先的两个问题是形式方面的，后来的三个是总结性的。
1.我们的目标达到了吗？这个问题暗示着以目标为驱动力的评估在任意层面都是非常重要的。回答得答案需要是清晰明确可衡量的目标，这种形式评估更加注重缩小目标与现实行为之间的差距，因此也就需要对目标达成的评断。
2.我们是不是“更上一层楼”？这是一种以改良为驱动力的评估，并且时时将自己的各方各面与过去的自己进行对比。因此在问题一中，你需要给出一个明确的目标，在问题二中你就不需要，你只需要一些时间节点。采用这样的驱动力，实际上也是默认了学生，项目以及院校都是可以不断完善的。
3.我们需不需要专业化的学生？这一传统的认证问题需要对院校项目以及个体进行评估，这些标准并非学校制定，而是专业人士制定的。这一评估方式是为了保障最低一层的表现质量。使用这样的评定同时也需要在评估标准与评估方式方面达到统一。这一评估会导致通过与未通过之间总结性的结论。
4.我们如何进行比较？这一较为常见的评估方式要求对合适标准进行选择，挑选常见的例子以及较为可信的学术排名。比较评估的方式往往认为院校之间是要进行竞争的，要在竞争中认清哪一个是最成功的或者说是消费最少的。在这样的评估方式中，竞争才会使得院校不断改良，市场份额不断缩水。在这样的比较模式中并不需要在行动，标准方面达成一致，这样的评估成果之能显示出相对于其他院校而言，自己表现得如何。
5.为什么我们的投入越来越多？我们的花费的效率高吗？关于这个问题的回答非常之丰富。将花费与收益相比，投入与产出相比，不同的关注点也引发了很多有趣的评定方式，诸如：班级规模，教职工工作量，管理者收入以及颁发学位的时间。类似的高效花费分析通常包括了高程度的专业评估。因此，评估是一个很复杂的过程，我们不仅仅需要评估不同的相关成果，还需要评测大学前以及大学期间的造成这些结果的经历。事实上，院校研究通常搜集与发布类似的院校效益相关数据的主要途径。我在很多的评估团队中工作过，自身也出访过许多国家的学校，我就看到了很多非常棒的院校研究实践活动。因此我自己研发了一个小小的五部研究模型来阐述这样的实践。
首先第一步，仔细思考自身的目的以及实际情况。其次，回答所有的五个研究问题。然后，选择好合适的研究方式。再来，就是要手机相关的数据，最后就是交流结果并且进行结构性改变。改变的第一步，要对批判性思维进行更多的投入。换句话说，也就是要有数据搜集以及评估系统，较为优秀的院校机构能够使这些系统去解决外部责任的实用性需求以及内部完善的激励性需求。
第二步，高效院校以及相关项目在搜集与分析相关数据时能够回答上述的五个问题。作为评估的“推动器”，上述五个问题，目标达成，改良标准符合，比较与产出可以推动其他步骤的演进并且为研究设计，数据搜集以及分析奠定基础。
第三步，高效院校将会根据院校的实际情况以选择合适的测量方式，无论是对整个项目而言还是对学生而言皆是如此。从院校层面来看，管理服务对整个院校的高效运作而言是最为重要的，在日益增加的大学中，很多已经研发出了细致的分数表来监控自身发展进程以与其他竞争对手做比，这些分数记录表中的内容往往包括了学生录取档案，录取率，教职工相关情况。这些都和院校的研究经费，财政测量与支出，雇员补贴息息相关。从项目层面看来，专业化，学术化以及职业化的认证体系可以正式检测这些项目。这些认证体系是一种对投入的衡量，资源衡量，教职工认证以及投入与产出的衡量，在任何学科评估中都是如此。高等教育届中的众多学者都认为最为效率最高的院校评估及改良是以学校为基础的学术项目进行的，在美国，这些项目进行评估时就会将外在与内在的评估相结合。从个体的角度而言，校长与院长对职工的评估往往是在其晋升的节点进行。政府官方部门评估拨款，学术论文出版情况，编辑情况等等。因此，教职工往往倾向于认为他们的评估状况还是不错的。当然他们对学生的评估也是限制在课堂学习方面，要是从院校层面对这些情况进行研究，那么又是一项大工程了。效率高的大学时常会把遇到的挑战分成两个版块，一块是需要人们以去中心化以及部门化方式对学生个体进行评估，这样的评估往往直接使用的是对学习情况的测量。另外一块则是以集中化的方式对较多数的学生进行成果测量，测量的对象往往是学生的满意程度等。学生的自我测评是搜集此类信息的最为常见的方式。在部门层面的项目中，对学生的行为测验非常之多。院校研究处往往更加关注使用去中心化的，院校层面的以及直接性的测量方式来对学生的学习情况进行评定。想要在每一年都对每一项情况进行评估几乎是不可能的，因此大学的评估计划往往以数据的搜集与分析为重点，这样不仅仅不用每一年都测量，也可以使搜集数据的时间减少，而对已有数据的分析所花的精力更多。必须要让更多的人对数据有所理解，大学在进行决策制定时需要把这些分析内容纳入考量范围中，院校研究的相关人员也有责任提供相应的分析内容。就我个人的经验来看，所有学校可以搜集到很多数据，但是都无法有效利用它们。最出色的院校研究处不仅仅能够开展评估研究工作，还能够帮助管理者看清结果中所昭示的内容。评估环节中非常重要的最后一环，就是做好结构性转变以及对结果进行评定。我经常造访一些刚刚处在院校研究初级阶段的学校，他们应该采取我刚才提及的第一步研究方案以形成一些可见的成果，针对此，我有三个最终的建议。
首先，使用一个成果模型来避免宏观计划的预前分析，从结果入手反推出造成此结果的原因。使用一个模型无非是为了使整个情况更加的明晰，无论是自身形成的还是借鉴别人形成的模型都可以。一个成果模型的作用就是使得院校分析更加的高效。一个以模型进行驱动的数据搜集系统往往可以避免过高的开销，我发现这个问题在纽约非常普遍。我相信这样的高开销有的时候是因认证体系而引发的，它使得人们认为每一年都要对所有的项目进行一次评价是必然，但是事实上大可不必如此。的确我们有很多地方可以借鉴其他学校，但是形成属于自己的一套评估体系也并非不可能。你可以将在数据分析以及投入之中的事情进行分类，比如学生的体验与收获，学生对学校的满意程度等等。这是我们在奥本尼所开发的一个模型，一开始也并不是这么复杂，但是经过十年的不断完善与扩充，他逐渐变得像你们看到的那么复杂与全面。我们搜集了许多数据以及能够反映学生在进入大学前特性的内容，然后我们又对学生的学术经验进行了观测，看看大学四年又对他们有怎样的影响，最后进行匹配分析。
我们还会对校友们的成果进行跟进观察。这一模型可以提供健全而正式的数据，既能够实现内部完善，又能够做到履行外在责任。这里是我的同事开发的一个模型，也是非常优秀的，这个模型包括了对教育成果的影响，校园风气以及组织内学生的特点等内容。因此无论你是否遵从一个模型或者说你想自己形成一个模型，你都必须得有一个。不要等到意见统一，一个宏观计划的达成是需要去尽力争取和政府部门达成一致的。在大学以外的一些机构成功的研究与数据分析往往都是从有价值的数据开始，然后才能够对这些数据进行处理。与学院专业的首先设定研究问题然后科学控制数据搜集的战略不同，外在机构往往是从已有的资源和数据开始进行逆推，思考从已有的数据中可以得到哪些答案，为了得到更多的答案又需要搜集哪些更多的数据。以这样的方式来开始评估工作会使得早期的发现不仅仅影响到学校的政策决定，还会加强其后的数据搜集。我在造访其他国家并且与他们一同商讨评估工作时，我总是强调校友研究是一种开启研究项目的高效方式，如果你暂时还没有成果评估项目，不妨以此为切入点。因为与其他数据搜集方式相比，校友研究更加的方便快捷，而且消费也并不是那么得高。校友研究还能够同时为组织提供内部与外部两个方面的数据。我发现毕业生和校友能够提供相同的反馈，但是往往相关部门会认为毕业生的反馈不是那么中规中矩，因此更加注重校友的反馈。从内部说来，校友研究可以评估教育成果并且为学术课程，支持项目以及政策制定提供重要讯息，而从外部看来，校友研究可以支撑责任认证以及资金支持。小优服务时常为院校整体以及个体部门都留有一定空间以满足数据搜集的多重需要。评估校友成果能够展现出院校质量。在美国，人们认为院校的质量多多少少会对校友们所做出的成就产生影响。从学术到个人，从知识的掌握到道德行为的养成，从社会技能到工作成就，从获得学位到获取工资，这些方面都需要搜集相关数据以进行研究。所以我之前就说，评估是复杂的，但是最成功的大学就是那些有着非常成熟的院校研究处并且能够在决策制定中有效利用这些研究成果的佼佼者。
所以在最后，我也希望各位同僚能够更加尽心尽力的投入到院校研究工作之中，并且为院校的更好发展提供自己的一份力量。
（录音整理，未经本人审阅，仅供参考）
END
联系客服
