文献综述写作思辨能力的评价指标

1.引言

思辨能力指“依据标准，对事物或看法做出有目的、有理据的判断的能力”(文秋芳，2012)。写作是体现思辨能力的重要领域，现有研究对本科生短文写作关注较多(如穆从军，2016;文秋芳，2012;李莉文，2011;Woodw ard-Kron，2002)，对研究生论文写作研究较少。文献综述是硕士论文写作的重点和难点(Ridley，2012;Hart，1998)，英美等国许多高校要求硕士论文的文献综述体现思辨能力(Xie，2016)，这些国家的中国留学生数量庞大，他们常常难以摸清思辨概念的具体内涵，在写作中遇到困难(Durkin，2008;Pu，2016)。我国英语相关专业硕士论文多用英文撰写，遵循英美研究范式，但对文献综述的思辨能力要求参差不齐。从长远看，如果我国英语专业硕士生的培养要与国际接轨，也需明确文献综述写作中思辨的内涵和标准。

文献综述，又称文献回顾，是学术论文中集中对前人研究做出评述的部分，要求作者在评价前人研究的基础上论证自己的研究(M urray＆Beglar，2009)。文献综述中的思辨能力主要体现为评价和论述两种能力:评价能力指作者如何评价现有文献;论述能力指作者如何论证研究选题的必要性和合理性(文秋芳等，2004)。笔者认为，“文献述评”更能体现该文体对思辨的要求，但由于本文频繁使用评估、评价等概念，为避免混淆，暂保留目前通用的文献综述一称。

国内外已有的学术写作教程或解释文献综述的写作过程，或阐释不同类型的论证结构和文献评价方法(如Ridley，2012;M achi＆M cEvoy，2012;文秋芳等，2004)。这些教程均可为写作提供指导，但在现实中，每篇硕士论文题目不同，大部分硕士生初次接触学术写作，难以在各种教程中找到适合自己的写作思路。因此需要一个简明的评估框架，将思辨这一抽象概念具化为一系列文本特征，为学生(或其导师)提供参考，也为研究者提供分析框架。本研究旨在为英文硕士论文的文献综述设计思辨能力评估框架。

下文首先论述框架的研制过程，其次阐述框架的构成及使用方法，即思辨能力的评价方法和指标，最后简要汇报对15篇例文的分析结果，探讨该框架的适用性。

2.框架的研制

本框架的研制基于思辨理论和实证数据。

1)自上而下的理论借鉴

在写作研究中，思辨一般被具化为两种能力:论述能力和评价能力。针对论述能力的研究常使用图尔敏论证模式(Toulmin M odel)分析学生作文。图尔敏模式(Toulmin，2003/1958)认为论证包含六要素:论点，论据，论据成立的前提，前提的出处，限定语(即对推理有效性的限定，如“通常”、“在一般情况下”等)，以及驳论。基于该模式，研究者提出了考察论证质量的指标，如论点数量、论点的聚焦度、驳论、推理谬误的出现次数等(如Staple-ton，2001;M ehta＆Al-M ahrooqi，2015)。同时，研究者也使用深度、广度、逻辑性、清晰度、相关性、创新性等指标衡量写作中的思辨能力(如文秋芳，2012;Liu＆Stapleton，2014;

M cLaughlin＆M oore，2012)。保罗-埃尔德思辨模型(Paul＆Elder M odel of Critical Think-ing)不常用于思辨性写作的研究，但该框架围绕思辨能力，将论证的组成界定为八要素:目的、问题、视角、前设、信息、概念、推理和启示意义;该模型也全面概括了论证思辨性的十个指标:清晰度、真实性、准确性、重要性、相关性、完整性、逻辑性、公正性、深度和广度(Paul＆Elder，2014)。本研究从上述理论中，选择和硕士论文文献综述写作紧密相关的要素和指标，作为思辨能力评估框架的内容。

针对学生评价能力的研究相对较少。艾尼斯－威尔思辨写作测试(Ennis Weir Critical Thinking Essay Test)使用主观题专门考察学生的评价能力(Ennis＆Weir，1985)。文秋芳(2012)的思辨测试包含阅读短文、总结大意、评价短文质量和论述个人观点四部分，对评价能力和论述能力均有考察。然而，这两类测试提供指定的阅读材料，测试结果和学生对阅读材料的熟悉度有关，且不能重复使用。本研究认为，思辨能力的评估需同时考察“论证”和“评价”两种能力;针对文献综述写作的评估框架必须允许重复使用，不受论文题目限制。评估的目的不是评分，而是为评估对象提供建设性反馈。

2)自下而上的实证数据

本研究收集了两组中国学生的文献综述手稿。两组学生均为外语教育专业，均用英语撰写硕士论文。第一组在英国一所知名大学学习，共7人(即班内所有中国学生)，自愿提交手稿7篇(见表1)。第二组在中国一所知名大学学习，共12人(即班内所有外语教育方向的学生)，自愿提交手稿8篇(见表2)。这两组学生均接触过思辨的概念，但论文写作的训练方式不同。第一组得到过较多针对思辨能力的修改建议，思辨是主要的论文评审标准。第二组得到的关于思辨的反馈参差不齐，思辨性不是论文评审的核心标准。选择两组学生的目的是为框架设计提供不同类型的稿源。

研究分四步:首先，本人基于思辨理论和学生论文设计框架初稿;然后，本人随机选取一篇学生论文，请一位专家使用该框架进行分析，与本人的分析结果互相对照，讨论不一致的结果并修改框架;之后，再随机选取另一篇学生论文，由另一位专家和本人分别进行分析，对照结果后再次修改框架;最后，本人使用该框架分析15篇学生论文，检验框架的适用性。

3．框架的构成及使用方法

本研究研制的思辨能力评估框架见图1。框架根据一系列指标，评估思辨能力中的论述能力和评价能力，其使用需依托具体的分析工具。本节首先介绍分析工具的构成及使用方法，第4节介绍评估指标的内涵。

本框架使用的分析工具见表3。分析以段落为单位，分析前按顺序给每段标号。分析步骤分为两个阶段:段落分析和篇章分析。段落分析阶段考察每段内容与核心论点的相关性、论述的理据性以及评价性内容的深度和广度;篇章分析阶段从整体上判断核心论点的明确性和论证结构的完整性。只有结合两个阶段的分析，才能较为合理地评估一篇文献综述体现的思辨能力。需要注意，在硕士论文中，文献综述是引言后的第二章。一些文献综述没有开门见山地阐明核心论点，是因引言中已经点明。然而，引言的写法五花八门，由于本文的焦点是文献综述，为简化分析流程，所有稿件一律按引言未点明核心论点的情况进行分析。在实际使用中，分析者需参照引言内容判断文献综述的写法。以下阐述文献综述评估的两个阶段。

3．1段落分析

(1)区分论证性段落与非论证性段落。文献综述的目的“不是炫耀作者的背景知识”，而是论证作者本人研究的必要性和合理性，其核心论点一般由若干分论点支撑(文秋芳等，2004:231)。分析每段时，先看段中是否有论点，如果没有，将段落大意用关键词或短句概括，填写在表3的“非论证性段落”一栏;如果段落中有明显的论点，则属于论证性段落，需进一步分析。由于定义核心概念是文献综述的一个主要功能(文秋芳等，2004)，也是思辨性论述的必要组成部分(Paul＆Elder，2014)，本框架将界定核心概念的段落视为论证性段落。比如，关于教师身份认同的综述，必先界定什么是教师身份认同，才能展开论证。当然，若阐述概念的段落与作者本人的研究不直接相关，也未用来支持论点，删除后不影响论述思路，则仍被视为非论证性段落。

(2)找出论证性段落的目的。使用表3时，遇到论证性段落首先找出其目的，一一列出。目的包含显性论点和隐性目的，显性论点直接论证某一观点，隐性目的指段落虽无明显论点，但却是论述不可或缺的组成部分，比如对核心概念的阐释。隐性目的填写时需置于括号内。

(3)分析论述的性质。论证性段落中的论述分两类:评价性论述和非评价性论述。评价性论述指通过评价他人观点或研究，论述作者自己的观点。Hunston(1999)认为评价性语言

体现在词汇、语法和文本三个层面。在词汇和语法层面，作者可使用模糊限制语或情态动词等方式，评价话语本身的真实性、准确性等;在文本层面，评价指直接对某一事物发表见解。本框架只关注文本层面的评价，即作者对前人研究或某理论概念发表的观点。如表3所示，评价性论述包含三要素:对象、评价和原因。对象指被评价的对象，如某个研究或观点。评价指作者的评论，如某种研究方法的利弊或某种观点的价值和局限。原因指评价的依据。分析评价性论述时，分别将对象、评价和原因填写在表3相应的栏中。非评价性论述不包含对他人观点或研究的评价，简要概括即可。

3．2篇章分析

通过以上三步分析所有段落后，需再分析整篇文献综述的思路，并用论证图示(argu-ment map)呈现论证结构(Lau，2011;van Gelder，2015)。论证图示能够从繁复的文字中抽取论证的核心内容，用图示呈现，并通过箭头和连线理清论证各部分的关系(Dw yer et al．，2015)。使用方法及示例见4．2。

4．思辨能力评估指标

与上述分析步骤相应，文献综述中的思辨能力体现在两方面:段落质量和篇章结构。表4列出了这两方面对应的评估指标。下文以学生文献综述手稿中的段落为例，阐释各评估指标的含义，例文均保留手稿中的语言表达方式，例文中的引文不是本文的参考文献。

4．1段落质量

(1)与核心论点的相关性

相关性是保罗－埃尔德思辨模型评价论证质量的指标之一(Paul＆Elder，2014)。文秋芳等(2004:233)也指出，“判断文献回顾质量的首要标准是相关性”。文献综述的核心目的

是通过评价前人研究论证作者的研究。要评价前人研究，必先对其进行介绍。一些学生担心介绍前人研究会将论证变为描述，有碍思辨能力的体现(Woodw ard-Kron，2002;Pu，2016)。本研究表明，介绍性内容必不可少，思辨能力的体现主要看介绍性内容是否与核心论点相关，为作者论证自己的研究服务。比如:

He(2003)Guo(2005)and Liu(2008)have also carried out studies on forms of instruc-tional directives(IDs)but in a Chinese EFL context．They also found that［此处省略对前人研究发现的介绍］．While their findings provided a thorough understanding of forms of IDs，they failed to explain how these differences arose．In order to address this limitation，it w as necessary to contextualise teachers’ID practice in relation to their previous experiences，pedagogical be-liefs and other pertinent variables．

本段中，作者首先介绍前人研究，指出其不足，然后提出本人研究对其做出的改进(下划线部分)，体现了相关性。相比之下，这段则没有明确体现相关性:

With respect to studies of perceptions of instructional directives(IDs)they have attempted to gain an accurate understanding through questionnaires of how students perceive their teachers’ID practice．M atsumoto(2010)has explored［此处省略对M atsumoto研究内容的介绍］．Sim-ilarly，Liu(2008)and Su(2012)have investigated［此处省略对Liu和Su研究内容的介绍］。

这段没有点明前人研究和作者本人的研究有何关联，被归类为非论证性段落。如要体现思辨能力，可在介绍性内容后加入一两句话，给出评价，解释作者从前人研究中得到的启发，或对其做出的改进。

为体现思辨能力，硕士生往往更关注如何批评前人研究(Pu，2016)。但事实上，只要评 价性观点能够论证作者本人的研究，肯定性评价也是思辨能力的体现;而若对前人研究的批评并未服务于核心论点，也会被归为非论证性内容。因此，以相关性为标准，可提醒新手不要单纯罗列文献，亦不要为了批评而批评。

(2)论述的理据性

保罗-埃尔德思辨模型将逻辑性、真实性、准确性、重要性视为论证质量的标准(Paul＆Elder，2014)，本框架将这些标准综合为论述的理据性。理据性意味着作者对前人文献的描述需真实准确，对材料的组织需要有逻辑。许多关于思辨能力的教材对论证方法有详解(如Jones，2001;Moon，2008;Lau，2011)，本文无须赘述。唯一需要针对文献综述说明的是，硕士生通常都能指出研究领域的空白，但具有思辨性的综述需要论证作者本人研究的必要性，其

理据不仅包括该研究能够填补空白，而且也需包括填补某一空白的重要性。如:

Firstlythe research applies a learner perspective instead of a teacher perspective．［此处省略内容:现有研究大多采用教师视角对课堂反馈给出建议］．How ever，such conclusions seemed not that convincing in that all results came from the studies through the teachers’ideas instead of the“should-be”subjects:students．And w e should not ignore the fact that students are active agents that have their ow n perceptions and means to deal w ith teachers’feedback．This study takes the student perspective to explore w hat they are thinking w hen they are revising w ith teachers’feedback and how they deal w ith those feedbacks during revision．

本段首先陈述研究空白，即对学生视角关注较少;进而阐述为什么要关注学生视角，即填补研究空白的重要性(下划线部分)。相对而言，以下这段则理据性不足:

Apart from papers mentioned above，Chinese EFL teachers of rural secondary schools are still little studied．The few existing papers take a quantitative measure，focusing on rural seconda-ry school EFL teachers’general w orking and living condition(e．g．，Wang，2003;Zhang，2007;Zong，2010)．Questionnaire is the major tool for these studies．Few adopt a qualitative approach to probe into these teachers’ow n perception of their status quo［此处省略对其他研究空白的讨论］．

本段的语境是:作者首先使用七段文字叙述关于农村英语教师的研究，其叙述的主线不是研究方法，而是教师面临的困难。本段为第八段，也是该小节的最后一段，作者简要点明现有研究方法的空白。这种篇章布局方式将在4．2讨论;就本段而言，虽然最后一句指出现有研究较少使用质性研究方法，但没有充分阐释质性研究方法的重要性。因此，本框架将其视为理据性不足。保罗－埃尔德思辨模型将“重要性”归为论证质量的体现之一(Paul＆Elder，2014)，但由于文献综述的主要论点之一就是作者研究的重要性，本研究认为不必将重要性单独列为一条指标，而是可以作为理据性的组成部分。

3)评价性论述的深度和广度

评价能力在文献综述中体现为评价性论述。评价性论述作为论证的一部分，也需体现理据性。此外，评价性论述还需具有深度和广度。保罗－埃尔德思辨模型使用深度和广度评价论证的整体质量(Paul＆Elder，2014)。本文根据硕士论文的常见问题，将深度和广度聚焦为评价性论述的指标，体现为评价性论述涵盖的话题范围和话题性质。表5和表6以两篇文献综述为例，展示评价性论述的深度和广度。相比之下，表5这篇例文评价对象范围更广，对理论概念本质的评价也体现了思考的深度，因此更能体现思辨能力。

Thompson(1996)认为，和引用他人观点相比，作者独立提出评价性观点会显得立场更鲜明，但Woodw ard-Kron(2002)指出，对理论做出评价，要求研究者对研究领域具有洞见，这对新手研究者较难。因此，在硕士阶段，通过援引文献对理论进行评议，可视为思辨能力的体现(如表5和表6的最后一栏)。但在博士及更高水平的研究中，如果全部评论均出自他人文献，也可视为原创思想的缺失。

4．2篇章结构

1)核心论点的明确性

保罗－埃尔德模型将表达的清晰度视为论证思辨性的体现之一(Paul＆Elder，2014)，本框架将清晰度指标具化为论点的明确性。学生有时难以将文献综述写成一篇具有论证性的文章，主要问题在于论点不够明确。本框架区分了论证性段落和非论证性段落，论证性段

落的数量一般就是论点明确性的体现。但从篇章角度看，也有例外。比如，章节开头解释整篇结构的段落虽然没有论证性，但也是必要的，能够帮助读者把握篇章结构(文秋芳等，2012)。又如，研究背景的介绍大多为非论证性段落，一般出现在引言中，但保罗－埃尔德思辨模型认为，议题也是论述的组成部分(Paul＆Elder，2014)，因此文献综述中是否应包含对研究背景的介绍，与整篇论文的布局有关，需视情况而定。

在本研究收集的手稿中，一种常见的论证组织方式是先用较长篇幅叙述前人研究，然后在结尾段点明论点。这种情况可从两个角度分析。第一，对前人研究的叙述应区别综述和罗列。综述指叙述前人研究时有突出的主题，并与文章的论点相连，若删去叙述部分，论证便不完整;罗列指没有焦点的随意叙述，或无内在逻辑的随意拼凑(文秋芳，2012)。比如，作者如需论证自己研究方法的合理性，回顾前人研究时可以研究方法为主线，进行有重点的综述，而不是单纯罗列前人的研究话题。综述比罗列更能体现思辨性。第二，一些学者擅用叙述方法回顾文献，Li(2014)展示了叙述和议论两种不同的写作手法，并认为不同写法来源于不同的文化传统，不能将叙述性写作一律看作思辨性的缺失。本研究赞同该观点，但在硕士阶段，许多学生对不同学术文体了解不够深入，此时更容易体现思辨能力的方式是将论点提前，开门见山，并让不同层级的论点明确体现在语言层面。

2)论证结构的完整性

保罗－埃尔德模型将论证结构的完整性视为体现思辨能力的一个指标(Paul＆Elder，2014)，本框架针对文献综述，将完整性界定为论证作者本人研究的必要性和合理性，二者缺一不可。分析者可以使用论证图示考察一篇文献综述的论证思路(Lau，2011;van Gelder，2015)，建构论证图示的信息来源是在表3中填写的所有论证性段落的目的和所有非论证性段落的主题。图2是一篇关于教学指示语(Instructional directive，即ID)的文献综述，其中每个文本框代表一个论点，箭头表示行文中明确体现了论证关系。该文献综述的论证分为三个层次。第一层次为核心论点，即最上方的两个文本框，分别为作者本人研究的必要性和合理性。第二层次是直接为核心论点服务的分论点，其中关于研究背景的介绍不是文献综述的必要组成部分，用虚线框出。一些分论点还包含更低层次的分论点，在图示中作为第三层次。

图3展示了一篇关于新手教师身份认同的文献综述。这篇综述论证了作者本人研究的必要性，但对研究的合理性仅在文章最后一段简要提及，没有详细论述。部分内容与核心论点似乎有关，但其关系在行文中没有明确体现，用虚线框出。这两个例子表明，论证图示不仅便于考察论证的完整性，也可检验分论点间的关系以及各部分内容与核心论点的相关性。本节仅就完整性而言，第一篇的论证同时论证了作者研究的必要性和合理性，分论点更加充分，论证结构更加完整，体现的思辨性更强。

5．框架的适用性

本研究使用上述框架分析了15篇外语教育专业英文硕士论文的文献综述，表7按思辨指标简要呈现分析结果。总体上看，第一组稿件体现的思辨特征更多，这与第一组学生在写作过程中受到的训练有关。但本研究样本数量较少，分析结果主要用于说明本框架对不同来源的文本具有适用性。

由此可见，本框架适用于英文硕士论文文献综述中思辨能力的分析与评估。文献综述的本质是运用思辨技能回顾和评价前人研究，同时论证作者本人研究的重要性和合理性(M urray＆Beglar，2009;Rudestam＆Newton，2007;Hart，1998)。本框架从现有的思辨模型中吸收了最符合文献综述特点的指标，根据文献综述的构成重新界定指标的内涵，使其更加聚焦，也兼顾了学生实际写作中的常见问题。本框架可作为科研工具，分析学生文献综述的写作特点，也可作为教学工具，帮助学生了解思辨的内涵及其在文本中的展现方式，并为其提供反馈。

本框架仅评价文献综述中体现的思辨能力，不考察学生对学科知识的掌握是否全面、对文献的选择是否合理、其观点是否对特定学术领域有创新性贡献，也不考察写作技巧是否运用得当(如上下文是否连贯)。本框架亦不同于以Swales(1990)为代表的的文体分析，其目的不是分析文体的组织特点，而是考察思辨内容在写作中的呈现。

与现有的思辨框架相比，本框架具有三个特点:操作性强，针对性强，能够提供建设性反馈。首先，框架只选取与文献综述高度相关的评估指标，与保罗－埃尔德思辨模型用十个指标分别评估论证八要素的方式相比(Paul＆Elder，2014)，更易于操作。其次，与艾尼斯－威尔思辨测试(Ennis＆Weir，1985)以及文秋芳(2012)的思辨能力测试相比，本框架专门针对一项实际写作任务，可用于分析任何一篇文献综述，在同一篇文献综述的不同写作阶段也可重复使用。第三，与大部分思辨能力测试不同，本框架的评估目的不是评分，而是为学生提供建设性反馈，帮助他们通过调控文本的具体特征，理解“思辨”这一抽象概念对写作提出的要求。

6．结语

本研究基于思辨理论和实证研究数据，设计了针对英文硕士论文文献综述部分的思辨能力评估框架，着重阐释了一系列评估指标，对以思辨为导向的学术写作提供了教学指导和研究参考。本研究数据来源范围有限，所有文本均来自外语教育专业硕士生，因此该框架对于其他专业、其他类型的文献综述写作是否适用，还有待验证。今后的研究可从以下方面开展:1)使用其他专业、其他层次或其它类型的文献综述，检验该框架的适用性，或使用该框架评价论文其他部分体现的思辨能力，比如讨论研究结果的章节;2)对该框架内的思辨能力维度分别进行深入研究，进一步澄清每一维度的内涵和外延;3)试用该框架对学生的写作进行历时研究，考察思辨能力在写作不同阶段的发展变化。

本文节选自《文献综述写作中思辨能力的评估指标》，作者：濮实，博士，研究方向:外语教育，思辨能力。原文刊发于《外语与外语教学》2018年第6期。由于篇幅限制，本文略去了参考文献及部分内容，如有需要请查阅原文。仅作学术分享，如有不妥请联系后台。