问卷调查作为社会调查常见的一种研究方法,被广泛应用到各类调查研究中。不过,不少研究者在设计问卷时常会犯一些错误,从而影响了用户填答的质量、问卷数据的信效度。美国南阿拉巴马大学专业研究所教授伯克·约翰逊(R. Burke Johnson)在其著作《研究方法、设计与分析》中提出了问卷设计的12条原则,下面将对其展开详细介绍,以帮助大家提高问卷数据的有效性。
原则1:编写符合研究目标的条目
你的研究方案会包含研究目的和研究问题或研究对象。在设计一份问卷时,你设计的题目应涵盖完成该目标所需的不同方面和内容。这就需要确定什么是关键的,什么是不需要的。你应该进行一次全面的文献回顾,确保你已经找出了在你的问卷中需要涉及的所有方面。这也意味着你必须编写出能够起作用的题目,也就是说,你编写的题目和设计的问卷必须具有能提供可信且有效的数据的心理测量学特性。内容效度与结构效度问题是尤为紧要的,因此应确保你设计出的一系列题目能代表你兴趣所在的领域,并且确保你充分地测量了每一个构念。为了使工具具备这些理想属性,还必须遵从下面的每项原则。
原则2:编写适合调查受访者的条目
千万不要忘记:是你的研究参与者,而不是你自己来完成问卷。如果你打算设计一些适合特定参与者的问卷条目,你需要设身处地地考虑,你的参与者将如何看待你编写的内容。不要使用生硬或做作的语言,要仔细考虑参与者的阅读水平、人口统计学特征及文化特征,然后编写出他们能够理解,且对他们具有意义的条目。确保使用的语言对你和你的研究参与者来说都是自然、熟悉、清楚的,这将有助于你的参与者在填写问卷时放松,并减少其感受到的威胁感,还能增强他们完成问卷的动机。
原则3:编写简短的问题
调查问卷的项目应该简短、清楚和准确。这包括,要使用简单的语言和避免用专业术语。你的目的是让每个人都能容易地理解题目并以同样的方式解读问题或条目的含义。如果你需要询问一些复杂的内容,你必须找到一种简单且清楚的方式来提问。如果你编写的条目既清晰又容易回答,参与者就能够清楚地理解你问的是什么,因而他们的答案也就应该是有意义的了。而且,参与者也更愿意继续回答问卷上的所有条目,而不会留下任何空白。
原则4:避免带预设观点或有诱导性的问题
带预设观点或有诱导性的问题会让参与者的反应产生偏差。当一个带预设观点的用语出现在题干中时,就会出现某种形式的偏差。带预设观点的用语(loadedterm)是指会让部分受访者产生某些积极或消极情绪的词语,而这些情绪与题目内容的含义是无关的。例如,在美国的政治保守派圈子里,“自由主义”这个用语所承载的内涵远不只是提出渐进式改革的建议。一个自由主义者有时会被描绘成道德水平很低且没有责任心的个体。因为这个词语具有预设含义,所以研究者需要使用自由主义的同义词,或者更好一点的做法是,明确它的具体含义(增加在教育方面的投入、反歧视措施等等)。例如,因为“自由主义”一词有预设意义,问“你对奥巴马的看法如何?”就比问“你对奉行自由主义的奥巴马的看法是什么?”好得多。增加一个词语能够对参与者的回答产生巨大影响。要点在于:如果一个特定的词语可能引发情绪反应或刻板思维,那么就避免使用它。
有诱导性的问题(leading question)有一点不同。这类问题或条目题干(也就是那些出现在问题或条目中,但不包含在选项中的词语)会暗示参与者他该如何回答。
原则5:避免双重提问
双重题问(double-barreled question)是指在同一个条目中询问两件(或多件)事情,这是必须避免的。看这样一个问题,“你同意奥巴马总统将主要的注意力放在经济和外交事务上吗?”如果参与者表示同意,你该如何解释他的回答?你能否说得清楚参与者是希望总统把主要的注意力放在经济上,还是放在外交事务上,或者二者兼顾?这个问题询问了两件独立的事情:经济和外交事务。每件事情都可能引发不同的态度,将它们合并为一个问题会使我们无法确定要评估的是哪项态度或观点。如果问题中出现了词语“和”或者“或”,你就要仔细核查以确保没有编进去一个双重题问的问题,而只是在询问某种十分具体的情况。
原则6:避免双重否定
双重否定(double negative)是一种包含了两处否定成分的句子结构。在询问参与者是否同意某项表述时,很容易出现双重否定。以下就是一个例子:
你同意还是不同意下面这个观点?
不应该允许心理学教授在他们的办公室接待时间内开展研究。
为了表示不认可这个观点,你必须构建一个双重否定句。你只能这样回答,我“不认为不应该允许心理学教授在他们的办公室接待时间内开展研究。”在使用认可量表时,也许难以避免地要使用一些双重否定的表达。如果确实偶然使用了一个双重否定句,那么就应该在表示否定的词语或短语下加下划线,以让参与者注意到它们(比如在上面给出的条目题干中,“不”字就应该加下划线),同时尽量少用双重否定。
原则7:确定需要开放式问题还是封闭式问题
开放式问题(open-ended question)要求参与者给出他们自己的答案。参与者用他们自己习惯的语言回答开放式问题,而且不受限于某组预设的选项。他们可以按照自己的愿望提供答案。例如,如果你想要知道人们在感到沮丧时会做什么,你可以问这样一个开放式问题,“当你感到沮丧时,你最常做什么?”当研究者需要知道人们正在想什么或者当一个变量的维度还没有被很好地定义时,开放式问题是很有价值的。它们通常用于探索研究或定性研究中。但是,对开放式问题的答案必须进行编码和分类处理,这需要花费大量的时间。
封闭式问题(close-ended question)要求受访者从一组由研究者预先确定的答案选项中进行选择。例如,如果你想知道人们在感到沮丧时会做什么,你可以用如下的封闭式问题来提问:
当你感到沮丧时,你最常做什么?
□哭
一般来讲,在一个变量的维度已知时,封闭式问题是比较合适的。此时,设计者可以指定答案选项供参与者从中选择。封闭式问题也能提供更加标准化的数据,因为呈现给所有参与者的答案选项都相同。
针对上例中的问题,伯克·约翰逊教授提出也可以使用另一种混合问题格式(mixed-question format):
当你感到沮丧时,你最常做什么?
□其他(请具体说明):
原则8:为封闭式问题设计互斥且穷尽的选项
在设计答案选项时,必须设计出没有重叠的选项内容。(mutually exclusive categories)就不会重叠。下面是一组不互斥的有关年收入的答案选项:
请在符合你目前年收入(以美元计算)的方框里打钩:
□200000及以上
你看出问题了吗?如果你的年收入是每年五万美元,那么这里有两个选项可以选择,因为它们不是互斥的。下面是正确的、互斥的选项:
请在符合你目前年收入(以美元计算)的方框里打钩:
□200000及以上
还必须设计一组包含所有可能答案的选项。穷尽选项(exhaustive categories)包括了所有可能的答案。上面提供的那组年收入的选项就是穷尽的,因为它们包含了年收入的所有可能值。如果你去掉了这组选项中的任何一个,它们就不再是穷尽的了。例如,如果你遗漏了“□200000及以上”这一项,那么每年赚取$300000的人就没法记录他的答案了。
关键在于,你的答案选项必须是既互斥又穷尽的,这很重要!
原则9:考虑不同类型的封闭答案选项
在向参与者提问或测量他们对表述的反应时,研究者通常更偏向于多个选项而不是二分选项。以下是一个测量认可度的条目,使用的答案格式是二分的:
我对自己持有一个积极的态度。
□不是
为了增加变化幅度并获得强度测量,绝大多数研究者使用一种称为评定量表(rating scale)的多选项格式量表。下面是一个例子:
我对自己持有一个积极的态度。
这个五分量表要优于答案格式为二分的量表,因为它发掘了态度的两个关键维度。它测量了态度的方向(对对象的积极或消极态度)和力度或强度。一些研究者更愿意去掉中间(中立)的选项,推动受访者“偏向”一个或另一个方向。研究表明,通过删除中间点而转化成一个四分量表后,同意和不同意的答案分布并没有受到显著影响。
在为四分和五分量表中的点设计描述词(被称作锚点[anchors])时,你必须保证各对描述词即答案选项之间的距离是相同的。但是,同意与非常同意之间的距离应该与不同意和非常不同意之间的距离相等。不过,部分同意与非常同意之间的距离就不会与同意和非常同意之间的距离相等。
原则10:使用多个条目测量复杂或抽象构念
在问卷条目设置中有一个关键问题是,我们需要多少条目才能充分地对某个心理构念进行测量。测量的定义是“按照规则用数字来表示物体或事件”,但是,很少凭一个单独的条目就能充分地测量心理学家感兴趣的构念。能用单一条目进行充分测量的构念包括性别(通过自我报告是男性还是女性)、体重(比如,用秤测量)以及民族(自我报告)等。但是,研究者感兴趣的绝大多数构念都比性别和体重要复杂得多,所以在测量它们时就要用多个条目。更复杂的构念包括自尊、智力、控制点、统计焦虑、教条主义和气质等。心理测量有一条准则,即要使用多个条目来测量构念。按照多维度构念的定义(即包含两个或多个成分或领域或维度的构念,如智力),它需要用多个条目来测量。绝大多数单维度构念(即只有一个维度的构念,如整体自尊)也需要用多个条目来测量,这是因为单条目测量被普遍认为是非常不可信的(即不一致和不可靠的)。
原则11:确保问卷从开头到结尾都易于使用
问题的顺序即排序是每次都必须考虑的问题。当问卷中既包含正向条目,又包含反向条目时,一般先询问正向问题会好一些。同理,更重要和更有趣的问题应该先出现,以吸引受访者的注意力。罗伯森和桑德斯特伦发现,在一项职员态度调查中,将重要的问题放在前面,而将人口统计学问题(年龄、性别、收入等)放在最后时,调查问卷的回收率最高。将人口统计学问题放在最后也是专业调查研究公司的标准做法。最后一部分的导入语应类似于下列两者之一,“最后这部分是一些仅用于分类的人口统计学问题”或“在完成这份问卷前,我们需要询问几个与您有关的问题。”
最好限制纸笔问卷(即需要参与者填写的问卷)中关联性问题的数量,因为它们会增加错误率。关联性问题(contingency question)是指根据参与者的答案让他们回答不同后续问题的题目,它可以使研究者将参与者引向问卷内正确的位置(如果每个人要回答的下一道题目有所不同的话)。下面是一个关联性问题的例子:
你的性别是什么?
□男性→如果是男性,请转到题目45
□女性→ 如果是女性,请转到题目44
在访谈提纲和网络调查问卷中,使用关联性问题并不会引起什么纰漏。因为在访谈时,访谈员接受过训练以执行访谈提纲;而使用网络调查时,可以在网络工具程序中加入跳转功能,自动地让参与者跳转至正确的题目上。
在任何调查中都有许多有意义的问题可问,但是每一种数据收集工具对受测人群而言都有最佳长度。超过一定长度,参与者的兴趣和合作意愿都会消失。因此,研究者必须保证问卷不会太长,即使可能删除某些重要问题。要准确地说明每一种调查问卷的最佳长度是不可能的,因为长度部分取决于研究话题和数据收集方法。一般的原则是,电话访谈不应超过15分钟。但是,面对面访谈可能花的时间更多,却不会使受访者感到不自在。通过邮寄送达的问卷应该是各种形式中最短、最易完成的,否则潜在参与者可能就不会填写并寄回问卷了。
原则12:对问卷进行预测,直到它变得完美
文章转载自科研写作研究所,作者胡乐浩
