同学甲:老师,调查过程中出现严重的无回答现象该怎么办呐?
老师:努力在转化和减少无回答上下工夫呀!
——社长说
文/风笑天 编辑/Lucia
本文节选自:《南京大学学报》(哲学·人文科学·社会科学)2010年第5期,原文标题:社会调查中的无回答与样本替换
社会调查是“一种采用自填式问卷或结构式访问的方法,通过直接的询问,从一个取自总体的样本那里收集系统的、量化的资料,并通过对这些资料的统计分析来认识社会现象及其规律的社会研究方式”。在这种应用非常广泛的社会研究方式中,存在一个十分常见的现象,这就是研究者所抽取的样本中的对象往往不可能百分之百地成功接受调查。“很少有抽样调查的回答率能达到100%,这就是说,大多数调查或多或少都会抽到一些搜集不到数据的单元(如人或住户)。如果那些被抽到但没有搜集到资料的单元系统地不同于那些被抽到且搜集到数据的单元,那么调查结论便会在一定程度上存在无回答误差的影响”。
也就是说,在研究者所抽取的样本中,实际上包含着两个部分:回答者的部分和无回答者的部分。十分显然的是,样本中无回答者的部分越大,样本调查的结果对总体的代表性存在偏差的可能性也就越大。正如福勒教授明确指出的:“从被选择的样本中收集资料失败的比例过高是调查误差的主要来源”。因此,如何解决调查中的无回答问题,也是社会调查方法面临的主要挑战之一。
面对调查中不可避免的无回答现象,国内学术界最常见的处理方法就是通过样本替换来对其进行补救。例如,有研究者对国内社会学界一些调查项目执行过程的主持人进行了专门了解,结果发现,“调查主持人均报告,各项调查在执行过程中均发生过样本替换”。该研究者也认为,“从目前国内调查实践看,相当多的调查对无应答单位采用了替换处理”。
值得思考的是,对于提高调查的回答率,从而减少调查偏差的目的来说,样本替换是最好的选择吗?除了进行样本替换,还有哪些无回答的处理方式值得注意?在不同的调查方式中,无回答的表现形式以及最合适的处理方式是否有所不同?无回答偏差在整个调查偏差中处于什么位置?替换样本的使用可能存在怎样的风险?什么样的情况适合使用替换样本,什么样的情况并不适合?对这些与社会调查中的无回答、样本替换以及调查偏差密切相关,国内学术界又很少关注的问题进行初步探讨,就是本文的主要目标。
一、无回答的内涵及其表现形式
为了更好地探讨上述问题,有必要首先对调查中的无回答概念及其在不同调查中的表现形式进行简要分析。由于调查具体方式以及无回答现象的多样性,学者们对无回答概念的界定和表述也存在一定的差别。在Kendall和Buckland主编的5统计术语词典6中,无回答指的是“在抽样调查中,由于某种原因(死亡、缺席、拒访等)而无法从指定的个体处获得信息”的情形。显然,他们的无回答定义主要指的是单位无回答。亨利教授在《实用抽样方法》一书中认为,无回答指的是“未能从样本成员中得到有效的回答。在被调查人拒绝回答某一特定问题,拒绝参与调查,或无法与被调查人取得联系的时候就会发生无回答问题。”按照他的这种界定,无回答实际上可分为三类:一类为项目无回答;一类为主观性的单位无回答;另一类为客观性的单位无回答。
而莱斯勒、卡尔斯比克两位教授在《调查中的非抽样误差》一书中则指出,“调查中最明显的问题之一是不能从所有的样本单位及问卷中的所有问题获得有用的数据,我们称这类问题为‘无回答’”。显然,他们的无回答定义同样包含了单位无回答和项目无回答两种类型。其中,单位无回答是指“被调查单位没有接受调查”,“这里谈及的单位指的是应用于抽样、数据采集或数据分析的单位”。总结上述各种定义可以认为,被抽取到调查样本中的单位没有成功接受调查,就是本文所探讨的(单位)无回答。
对于上述含义十分明确的无回答概念,在实际社会调查中会由于调查方式的不同,而在具体表现形式上有所不同。比如,在入户面访调查中,无回答的表现形式就可能既包括所抽取的样本户地址不存在、样本户为空户(即无人居住户)、样本户地址为非住户机构等抽样框偏差造成的不适合,也包括调查期间因被调查对象外出、生病住院等造成的无接触,还包括由于有身体残疾或智力障碍等造成的被调查对象无能力,以及由于被调查对象拒绝参与调查所造成的拒访等;在邮寄调查中,其表现形式则相对简单,即所有的无回答都是以调查问卷没有寄回的形式表现出来的。
但在实际上,这些无回答中同样可能有因地址错误而没收到问卷造成的、有因被调查者在调查期间不在家造成的、有因被调查者语言不通或文化程度太低而看不懂问卷造成的、还有因被调查者不愿接受调查造成的等多种情况。研究者虽然在邮寄调查中不能像入户面访调查那样可以明确区分哪些单位是不适合、哪些是无接触、哪些是无能力回答、哪些是拒绝回答,但实际上其主要类型依然可归结为与上面相似的四类;在电话调查中,无回答的表现形式则主要包括电话号码为空号、电话号码为非住户号码等不合适情况,电话多次无人接听、电话为自动录音装置等无接触情况,接电话的对象语言不通、无法交流等无能力情况,以及对象接听后挂断电话等拒答现象等。
上述分析表明,不同调查方式所表现出的具有不同特征的无回答现象,实际上都可以归结为四类:即由抽样框偏差造成的样本对象“不适合”、由特定调查方式和客观条件造成的与样本对象“无接触”、由被调查对象的特定原因造成的“无能力”接受调查、以及由被调查对象主观上拒绝参与调查造成的“拒答”。
上述四类的划分与Groves在其著作《调查方法论》中所总结的三类无回答十分相近。他的总结是:“(1)未能提出调查的请求(如“未接触”,没能找到样本单位,邮寄调查中邮件被退回);(2)被拒绝(如已经联系到的个体拒绝了调查请求);(3)没有能力接受调查(如已经联系到的个体不懂问卷使用的语言)。”本文的划分与他的分类之间的唯一区别是,在他的分类中,将抽样框偏差造成的“不合适”与调查方式造成的“无接触”合并为一类;但笔者认为,不适合与无接触两种情况所造成的无回答现象不仅从来源上有着明显的区别,在处理方式上也有所不同,故将二者分开可能更好。
二、无回答现象与调查偏差
当调查中遇到无回答现象时,研究者采取样本替换方法的主要动机是为了减少无回答者的比例,以提高调查的回答率,从而减少调查样本所带来的偏差。由于无回答包含了上述四类不同的形式,而它们对调查偏差的影响不尽相同。因此,为了更清楚地认识无回答与调查偏差之间的联系,有必要对调查的各种偏差及其来源有一个整体的了解。
根据基什教授的看法,调查偏差的来源可分为抽样偏差与非抽样偏差两大类。前者主要包括抽样框偏差;后者则包括观察偏差和非观察偏差。值得注意的是,抽样框偏差发生在抽样设计的阶段,它主要包含未覆盖和不合适两种。所谓“未覆盖”,即“遗漏”了本来应该属于抽样框的一部分个体;而“不合适”则正好相反,即包含了本来不应该属于抽样框的一部分个体;这两方面的偏差所反映的都是抽样总体(抽样框)与目标总体之间的一致性问题。
与抽样偏差相对应的非抽样偏差则发生在调查实施和资料处理的阶段,它指的是在调查数据的收集和处理过程中所出现的问题。这种非抽样偏差还可再分为观察偏差和非观察偏差两类。观察偏差是由于不正确地获得和记录观察值所引起的,即一类“是在观察进行中引起的,包括访问、列举、计数或计量;这些是回答偏差。另一类是为数据处理偏差,它产生于办公室数据处理、编码、列表和计算中”。而非观察偏差则是由无回答引起的。这种无回答的主要来源包括无法接触、无能力回答和拒绝回答等。笔者在基什教授分类的基础上对调查中各种偏差进行了归纳整理,具体分类见下图1。
图1 调查中的偏差来源分类
根据前面关于无回答概念的界定以及在不同调查方式中表现形式的描述,可以看出,本文所讨论的无回答现象除了主要包括图1中作为非观察偏差的无回答的三种来源外,同时也包括了作为抽样框偏差来源的不合适(即图1中标有1、2、3、4的几个来源)。
因此,社会调查中实际上也存在着两种不同性质的样本替换。一种样本替换所针对的是那些在样本抽取后发现并不适合作为调查对象的个体(如入户调查中样本户为无人居住的空户、样本户地址为非住户机构等,以及电话调查中的空号、非住户号码等);另一种样本替换则是针对调查实施阶段出现的那些无法接触、无能力回答、以及拒绝回答的个体。对于前一种情形,样本替换是可以采用的。但对于后一种情形,样本替换就有可能是不合适的(这一点将在下文中详细讨论)。对不同替换目标的区分同时也提示我们,样本替换问题既与实地调查阶段相关,也在一定程度上与抽样设计阶段有关。
三、无回答的处理方式
莱斯勒和卡尔斯比克在其著作中讨论了解决无回答问题的一些方法,主要有:降低无回答数量;替代;估计潜在的偏差;对无回答进行补救(具体有外推法;在无回答单位中进行次级抽样;加权调整;直接替代;模型推断)等。由于笔者关于无回答来源的分类与现有研究者的看法有所不同,因此,在无回答处理方式上,也有一定的补充。概括地说,对于前述各种类型的无回答现象,研究者可以采用的处理方式通常有下列几种:
第一种处理方式是放大样本。即研究者在抽样设计阶段将无回答的因素考虑进去,根据以往调查的结果和经验,预先估计无回答的比例,并适当增加样本容量,以保证最终有回答的样本对总体有足够的代表性,从而保证样本调查的结果在推论总体时能达到预定的精确性和可靠性。
例如,在一项大型调查的样本设计中,研究者确定样本规模时,先是以估计简单随机抽样的总体比例为P时的样本容量为基础。“在95%的置信度下按抽样绝对误差不超过3%的要求进行计算”,需要抽取的样本容量为1067。“由于采用多阶段的复杂抽样,设计效应deff一般会2和2.5之间,我们把deff定为2,这样需要的样本量就为2000个。综合考虑精确度、费用以及调查实施的可行性等因素,以及以往若干全国社会调查的经验;再加上考虑到在调查实施中通常会存在一部分户内找不到、或没有合格调查对象、以及各种原因造成的无回答等情况,根据对回答率的估计,需要将上述样本量适当扩大为2380个。”
这种处理方式的特点是不需要在调查过程中使用替换样本,而只是对所抽取的原始样本实施调查。如果在实际调查过程中,无回答比例与事先预计的比例比较接近,那么,样本调查结果推断总体时的精确性程度和可靠性程度就能够达到预期的目标。从本质上看,这种处理方式也可以理解为是将替换样本放到了最初设计抽取的样本中。它实际上相当于用规模较大的样本来获取(事先确定的)规模较小的样本所具有的代表性。当然,实际调查中的回答率依旧是决定这种代表性程度高低的关键因素。
第二种处理方式是转化无回答。即在调查的实施过程中,积极加强对无回答个体的转化工作,努力减少无回答的数量。这种转化的工作既包括让调查员在不同时间反复上门,或在不同时间多次拨打电话,或者多次寄送催促信函;也包括对拒绝回答者进行耐心的解释和说服工作。研究者通过这些工作,一方面可以更多地创造和增加与那些无接触者的接触机会,提高接触率。另一方面,可以更多地将拒绝回答者转化成为回答者;以此来增加调查中的回答者比例,降低调查中的无回答比例,达到提高调查回答率的目的。
第三种处理方式是进行样本替换。即在调查的实施过程中,遇到无回答个体时,采用其他个体对其进行替换。具体的操作方法有两种:一是预先抽取出一部分调查单位(对象)作为备用样本,当调查中遇到无回答情况时,用备用样本中的对象对无回答的对象进行替换;二是预先并不抽取备用样本,而只是制定出某种替换的原则或方式。当调查员在实地调查中遇到无回答情况时,就按照此原则和方法抽取新的对象作为无回答者的替换。比如,“遇到家中无人、拒访等情况而无法对样本中的对象进行调查时,则选取样本户左边的第一户作为对象进行调查”,或者“遇到所拨号码为空号、或者为应答机等情况而无法进行调查时,则拨打原号码最后一位加上1所构成的新号码”等,就是这种替换原则和方法的例子。
第四种处理方式是调查后的统计修正。即在调查结束后,通过统计的方法,来估计和修正无回答所造成的潜在偏差以及对无回答结果进行补救。这方面的具体内容在基什以及莱斯勒、卡尔斯比克的著作中都有专门的讨论,本文不作探讨。但需要指出的是,由于许多情况下这种统计修正需要获得调查总体的相关统计资料,而现实中一方面这种总体的统计资料常常不能获得或者资料过于陈旧;另一方面,这种“可以得到的总体成员的特征,并不一定直接与那些对当前的研究很重要的变量有关”。因此,即使可以通过加权等方式进行修正,这种做法也是“假定回答者和无回答者是没有差异的,充其量无非是对某些比例过低的群体所做的补偿而已”。
总之,在调查前通过对无回答比例的预估来扩大样本规模,在调查过程中加强对无接触者和拒答者进行转化或者进行样本替换,在调查结束后对无回答的结果进行统计修正等是研究者用以减少无回答现象及其影响的几种主要方式。
四、不同调查方式中的无回答处理
由于社会调查中几种不同的资料收集方式具有各自不同的特点,它们在无回答来源方面的状况也不一样。因此,在不同的调查方式中,处理无回答问题的策略和方法也有所不同。
对于邮寄调查来说,由于在通常情况下研究者并不知道哪些被调查者寄回了问卷、哪些被调查者没有寄回,因而其无回答的实际原因(是不合适、无接触,还是无能力、拒答)研究者并不清楚。所以,对于无回答的处理不能盲目进行替换,有时甚至不可能进行替换。此时最合适的、同时也是绝大多数研究者在实际调查中所采取的处理方式,就是向被调查对象多次邮寄催促信函,或者通过电话进行提醒(如果有联系电话的话)。许多研究表明,催促信函和电话提醒对提高邮寄调查的回收率(即回答率)具有十分明显的效果。
例如,美国一项邮寄问卷调查的结果表明,研究者发出问卷后第一批寄回的问卷只占样本的46.2%,研究者发出第一封提醒信件后又收回12.2%,发出第二封提醒信件和问卷后再寄回8.8%,最后打电话通话后又寄回10.1%。两次催促信件和一次电话提醒总共帮助收回了31.1%的问卷,使问卷总的回收率达到了77.3%。笔者也曾进行过一次邮寄问卷调查,按时回收与催促后回收的情况与这一结果也十分相似:在规定时间寄回的比例为62.5%,发出催促信件后又寄回21.1%,最终回收率达到83.7%。正如贝利所指出的,如果不使用催促信和电话提醒,邮寄调查“一般可望得到的回答率不超过50%或60%,而有跟踪,人们便可望得到70%或80%甚至更高的回答率”。
对于电话调查来说,或许扩大抽样库以便进行样本替换才是最好的处理方法。“所谓抽样库,就是一组完整的电话号码。调查员就是用这一组电话号码来得到调查最终要求完成的访谈人数(最终样本)”。或者说,抽样库是抽样框中的一组实际的电话号码,调查员依靠它来和被调查对象进行联系。而之所以要扩大抽样库,则主要是因为一般电话调查中因为不适合、无接触和拒答所造成的无回答比例远远高于其他调查方式,也远远超过研究者所能接受的范围。
例如,“格罗夫斯和卡汉在他们很有创造性的美国本土RDD(一阶)抽样调查中,最终完成的访谈即样本量是1700,但总共处理的电话号码(即呼叫单)有13000个,而这些电话号码一共被拨了44000次(即有44000个处理结果)”。这也就意味着,研究者所完成的1700个电话调查,实际只占他们所准备的13000个电话号码的13%,而更是只占调查员实际呼叫次数44000的4%。如此大量的未完成调查的电话号码和呼叫次数,正是电话调查中需要大量备用样本、或者说需要进行大量的样本替换的原因。
而对于入户访问这种面对面的调查方式来说,虽然其中的无回答类型包括了不适合、无接触、无能力回答、拒绝回答等多种情况,但其中最主要的则是拒绝回答的问题。正如有学者所指出的“迄今为止的所有调查,构成无回答问题的最主要因素是拒绝回答”。因此,研究者的处理方式虽然也有调查前的抽样设计(在预估无回答率的基础上扩大样本规模)、调查中的无回答转化和样本替换、调查后的统计调整补救等等,但笔者认为,通过积极预防以及努力做工作来尽量减少无回答,而不是进行样本替换,是入户访问这种调查方式中最为合适、同时也是最为重要的无回答处理方式。至于为什么不主张进行样本替换,笔者将在下面进行探讨。
总之,根据调查方式不同,无回答的处理方式也不一样。概括地说,电话调查主要采用扩大备用样本规模的方式;邮寄调查主要采用多次邮寄催促信函,或者通过电话进行提醒的方式;面访调查则主要以调查员多次上门、多次联系、耐心解释和说服工作来减少无回答为主,而不是以替换样本为主。
五、结论:努力减少无回答而不是进行样本替换
在不可避免的无回答现象面前,研究者首先应区分不同的无回答现象,以便有针对性地采取相应的处理方式。对于实际调查中最常见的入户访问方式来说,除了由于被调查者无能力的原因所造成的无回答可考虑样本替换的方法外,对于更多的由于无接触,特别是由于拒访所造成的无回答,则应该积极地采取多种方式进行转化工作,努力增加接触和减少无回答。而不是通过简单地使用备用样本来进行样本替换。这是因为,从本质上说,只有减少原来样本中的无回答数量,才会直接减少由无回答所带来的调查偏差。这也是为什么亨利教授提醒研究者“在处理无回答问题时,我们首先应考虑的问题是如何最大限度地减少无回答”的缘故。
事实上,在学者们所提出的应对无回答的建议和方式中,更多的是强调事先的通知、反复的联系、对拒访者的转化工作、训练访问员争取被调查对象的合作等等,而不是建议人们去准备一份备用样本或进行样本替换。比如,福勒教授对于在电话调查和当面访谈调查中减少无回答的建议只有两条:“与选定的个人进行联系和赢得他们的合作”。而为了做好这两点,他非常详细地提出了“集中在晚上和周末多打电话”、“为访谈者提供弹性进度表”、“先寄一封预告函”、“提供关于研究项目目的的精确信息”、“确保调查任务和使用的措施不会对回应者产生不利的影响”、“找到得力的访谈员,让他们明白回应率的重要性”等等一系列具体措施。
与此同时,研究者们在调查实践中也是身体力行。比如,在无回答面前,他们会有多次的电话联系(在电话调查中一个号码要在不同时间经过多达10次的呼叫才能定为无联系)、反复上门(在面访调查中一个对象要在不同时间经过至少三次以上的上门才能定为无法联系),以及对拒访的对象进行耐心的转化工作等等。同样的,从美国人口普查局的《当前人口调查》(CPS)中,我们也可以了解到,他们关于无回答的处理方式同样是重在事前的预防措施,而不是进行样本替换和事后的统计加权处理。
总之,对于调查中的无回答现象,比较合适的做法是先按照正规的抽样设计,将可能的无回答比例考虑进去,计算出相对大一些的样本容量。同时,也是更重要的,是在实地调查的过程中,尽量采取措施,在转化和减少无回答数量上下工夫,最大限度地对由无接触和拒绝回答等原因造成的无回答现象进行转化,以此来保证足够的回答率,而不是采用样本替换的方法来补充样本。对于提高社会调查的质量来说,这是十分重要的一环。
联系客服