问卷设计存在的问题及对策
发布时间:2016/1/8 11:28:52
 

2015-12-24 质化研究收藏,稍后阅读

问卷设计存在的问题及对策

——以陕西(延安)公众获得感问卷为例

作者:高志奇 杨文智

问卷设计对于社会调查研究的重要性是不言而喻的,一个好的调查问卷不仅反映的是设计者的水平和能力,同时也能反映出设计者理论结合实际的能力。但是无论设计出多么好的问卷,在现实调查当中总会遇到或多或少的问题。为什么会这样?主要是因为社会的复杂性,而调查对象是一个个的个人,这些个人是不同的,再高明的问卷设计者也不可能考虑到所有调查对象的需求,而且对同一个问题,不同的人其看法肯定是不相同的。因此,做一次问卷调查,大家就会对问卷有一些这样那样的看法,这些看法,一方面可以帮助我们重新认识自己设计的问卷,另一方面,则为下次设计问卷提供了一些有意义的经验和教训,有助于避免犯同样的错误。陕西省社会科学院做的陕西(延安)公众获得感调查研究,其问卷遵循了问卷设计的基本原则,而且也考虑到陕西(延安)民众的实际情况,对问卷进行了反复推敲和改进,并且进行了试调查,但是当真正开始做调查时,依然发现问卷存在不少问题,在调查结束后,对这些问题进行分析研究,有助于重新认识问卷设计应遵循的基本原则,也有助于我们理解调查对象的需求,继而为再次设计问卷提供一些经验上的帮助。

一、陕西(延安)公众获得感调查背景介绍

习近平总书记在陕西考察期间,提出了五个扎实,以推进陕西发展,陕西省委省政府,根据习近平总书记的五个扎实,结合陕西实际情况,对五个扎实做了更为细致的解读,提出了一些更为具体的落实五个扎实的措施。这些措施涉及到发展方式、农业现代化水平、农民收入、教育改革、社会治安、反腐倡廉等20个方面。陕西省社会科学院就是以此为依托,研究陕西公众对推进五个扎实的期待与获得感,从而了解民众对习总书记五个扎实和省委省政府政策的熟悉了解程度,即调查五个扎实和省委省政府政策的落实程度或见效程度。公众对推进五个扎实的期待与获得感研究是陕西省社会科学院重大课题项目,共选取了西安、延安和汉中三个地方作为调查区域,延安的调查对象主要是延安市区的民众。为便于延安方面的调查顺利进行,将调查员(学生)分为5个小组,抽样线路选择东关——百米大道、王家坪——中心街、兰家坪——枣园、延大——师范——大砭沟和南桥——市场沟,共五条调查线路。调查总共用了一天时间,共调查问卷230份,回收率100%,有效问卷215份,达到了预期的调查目的。虽然调查工作完成了,但是调查存在的问题,尤其是民众对于问卷设计提出了一些自己的看法,这些看法也并不一定都合理,且大部分民众本身并不懂得问卷设计,但是这些看法的确也反映出问卷设计中存在的一些问题,这些问题有主观的,也有客观的。因此,调查结束后进行总结,对这些问题进行梳理和分析就显得尤为必要。

二、问卷设计的重要性

好的问卷是调查成功的前提,问卷设计如果失败了,那么调查成果的可能性是没有的,从笔者所做的一些调查来看,这应该是没有什么可值得怀疑的。另外,关于问卷设计存在的问题,这并不是一个新问题,而是一个有待继续完善和解决的问题,因为对于不同的调查研究,其问卷设计存在的问题是不一样的,而问题的出现,一方面说明做问卷设计是件有难度的事情,另一方面则说明做问卷设计对于调查研究来讲是非常重要的,即在通常情况下问题与重要程度成正比,问题越大,重要程度也越高。对于问卷质量的把关完全依赖于作者自身,依赖于自我约束和学术良心,读者并无从判断,问卷的质量也就成了问卷调查研究中的隐性问题,尽管非常重要,却常常被忽略。因此,好的问卷并不是设计出来的,而是经过实践检验出来的,设计者只能在理论层面去把握,却无法把握问卷在调查过程中村在的问题。由于调查对象是人,即便是同质性的调查对象,对同一个问题的看法也是有很大差异的,比如,对某个学校的学生进行调查,即便是同一个问题,大家的认识和看法肯定是不同的。

问卷设计的重要性,一方面源于收集数据资料的需要,如何收集大量有效的数据资料,需要好的方法,一般研究者都会选择设计问卷来实现这个目标,主要原因就在于问卷由调查对象自己完成,可以有效避免外界干扰,所得数据的可靠性程度较高。问卷设计的重要性,另一方面则源于调查研究目的,调查研究目的是调查研究的意义和价值所在,为了实现这个意义和价值,就需要开展问卷调查,分析调查对象的基本情况,然后根据分析设计问卷,使问卷能引起调查对象的兴趣和积极性,从而配合完成调查,因为调查说白了其实就是要寻找支撑研究结论的依据,而这个依据主要来源于问卷调查得出的数据。鉴于此,问卷设计就成为社会调查研究中最常使用的收集数据资料的方法,且问卷法比其它收集数据资料的方法更严谨、更科学、更规范。

三、陕西(延安)公众获得感问卷设计存在的问题

陕西(延安)公众获得感问卷是经过陕西省社会科学院老师反复推敲设计出来的,从形式和内容上看,这份问卷是没有什么大问题的,但是从问卷设计的要求及调查过程中调查员和调查对象的反映,这份问卷还是多少存在一些问题,这些问题也并不是陕西(延安)公众获得感问卷独有的,而是一个共性的普遍存在的问题。具体来讲,陕西(延安)公众获得感问卷设计存在的问题主要有以下五个方面:

(一)问卷结构设计不完整

一般情况下,问卷的组成部分主要包括封面信、指导语、问题、答案、编码等,由于每个部分都有其作用,所以好的完整的调查问卷会涵盖所有这些组成部分。如果问卷缺少了相应的组成部分,则会给调查带来一定程度的困难,这自然就对调查员提出了更高的要求,需要给调查对象进行解释。陕西(延安)公众获得感问卷的结构设计就是不完整的,主要缺两块:一是没有封面信,没有封面信,调查员就需要给调查对象解释调查目的、调查单位和调查员的身份,这不仅浪费了时间,还增加了调查对象的疑虑;二是没有规范的指导语,只给个别需要注意的问题后面注了作答要求,没有指导语容易给问卷作答造成一定的麻烦和困难,在实际调查过程中的确出现了不少问题,比如调查对象就问是画圈、打钩,还是用其它标示方法,这样显得问卷卷面作答比较凌乱。由此可见,问卷结构的完整性程度会影响调查时间和调查效果。

(二)问卷问题顺序安排不合理

 在问卷调查中,调查对象的兴趣和情绪也会与问题的排列顺序有关,因此设计并合理调整问题的排列顺序可以促进调查对象积极配合调查,提高问卷调查的效率。陕西(延安)公众获得感问卷在问题顺序安排上也存在不合理的情况,主要表现在两个方面:一是个人信息资料置后,将个人信息资料置后最容易造成调查样本比例失衡,尤其是职业、年龄、经济状况不好把握,这样难以保证调查样本的异质性和多样性,样本代表性就差,这次调查尽管对调查对象有了明确的要求,也设计了样本控制表,但由于把个人信息资料置后,等调查对象做完问卷时才发现这类调查对象已经做了很多,其它的很少,甚至没有;二是一开头就是开放式问题,直接就问提到获得感,您想到的是:这让不少调查对象摸不着头脑,也不清楚意思,调查员要解释半天,然后才能开始作答,从调查效果上讲,这个问题应该置后,至少不应在问卷的第一个问题出现。由于问题顺序安排不合理,本次调查中,就有不少调查对象不愿意做开放式问题,致使刚开始做调查时,速度特别慢,需要调查员引导调查对象作答第一个题。

(三)问卷问题书面语过多

问题是问卷的主体,是问卷最重要的部分,也是问卷设计的主要内容” [3]。问题设计的好坏不仅关系问卷的质量,更直接影响调查的结果。陕西(延安)公众获得感问卷设计了20个问题,再加上个人信息资料,共有27个问题,由于不少问题都有追问,所以从题量上来讲,是不少的。从问题的表述上来讲,陕西(延安)公众获得感问卷最的大问题就是书面语过多,没有把书面语给予一定程度的转换,对于受教育程度较高的调查对象来讲,基本不存在问题,而对于受教育程度较低的调查对象则情况就大大不同,就拿开头的第一个问题来讲,提到获得感,您想到的是:,看到这个问题,调查对象就要想,什么是获得感,如果不能理解获得感的意思,那么自然难以回答这个问题,从调查结束后反馈的信息来看,基本上每个调查对象都会反问调查员,什么是获得感,由于调查员只是进行了简单培训,再加上某些调查对象的文化程度较低,理解力差,调查员对于获得感的解释,还是令不少调查对象不满意。再比如第十题请您对陕西近年来社会经济发展状况进行评价,这个问题也是太过书面话,因为社会经济发展状况这个问题对于一般民众来讲是说不清楚的,让他们评价只能是乱作答。因此,问卷书面语过多会影响调查对象的积极性和兴趣,需要尽量避免。

(四)问卷问题有一定的倾向性

在设计问卷时,要尽量避免使问题带有倾向性,即问题的提法和语言不能使被调查者感到应该填什么,或者感到调查者希望他填什么”[4]。陕西(延安)公众获得感问卷问题的倾向性主要体现在问题的两极分化太大,积极正面的问题和消极反面的问题形成鲜明对比,这容易给调查对象造成认识上的误区,要么全选积极正面的,要么全选消极反面的。比如,在调查过程中,一个调查对象全选了积极正面的答案,当调查员提醒他其它方面没有吗?他立刻将答案改成消极反面的。依然继续拿第十题请您对陕西近年来社会经济发展状况进行评价来说明情况,第十题的答案设置非常多,有20项,每一项最左边都是正向的,赋值为5,最右边都是反向的,赋值为1,由于赋值高的都是大家希望的,调查对象在作答时往往忽略了实际状况,一股脑地选择赋值最高的正向答案,这样导致调查结果没有实际意义,再加上都是官方语言,影响了调查对象对这些问题的客观看法。此外,由于很多问题问的都是调查对象对政府政策的认识或评价,难免让有些调查对象产生疑虑,无形当中形成对问题回答的倾向性。所以,问题的倾向性除了来源于问卷设计外,调查者自身的顾虑也会使问题作答产生倾向性。

(五)问卷问题用语语官方化

 公众对推进五个扎实的期待与获得感这个研究本身就是要调查了解民众对五个扎实的认识情况及其落实情况,其问题设计一定要突出调查内容,但问题内容的突出并不能以牺牲问题的通俗表述为代价,官方化语言太多必然会影响调查效果和研究结果。陕西(延安)公众获得感问卷虽然在设计时也尽量避免使用过于正规的官方语言,但是这个问题最终还是没有能够很好避免,在设计问卷主要问题及答案时,还是把政府的政策语言直接拿过来使用,导致问卷语言官方化程度很强,这在第十题和第十四题表现的尤为明显。由于第十题和第十四题每个题的答案都是20项,也是本次调查最关键的两个问题,在设计问题和答案时,设计者没有将官方语言转变为通俗语言,导致问卷用语整体感觉官方化程度偏高。

四、陕西(延安)公众获得感问卷设计存在问题的原因

陕西(延安)公众获得感问卷设计存在的问题,并不是调查结束后才发现的,而是从问卷设计出来和试调查时,就已经发现了,之所以没有完全解决这些问题,是由各种主客观因素造成的。具体来讲,主要有以下五个原因:

(一)版面设计的完整要求,注定问卷难以保证结构完整

陕西(延安)公众获得感问卷一共设计了4页问题,为便于调查和节省经费,制版为A3,进行双面打印。由于问题内容恰好占满纸张,如果再加封面信和指导语则会超过制版,变成5页,甚至6页,这样的话A3双面肯定无法排版。如果盲目追求问卷结构的完整性,强行增加封面信和指导语,则会增加问卷的页码量,让人感觉问题题量太大,从美观上来讲,也不好看,所以就将封面信和指导语去掉了。由于问题答案作答比较简单,打钩或画圈并不影响问卷分析,指导语的有无,也不会影响调查对象作答,在这样一个前提下,问卷设计者就省去了封面信和指导语。另外,将个人信息资料置后,并简化处理也更多是由于制版限制这个原因。

(二)调查目的的明确性,注定问卷问题顺序不能按常规设置

按照正常设计,应将问卷的封闭式问题置前,将开放式问题置后,陕西(延安)公众获得感问卷之所以一开始就设计了一个开放式问题,主要是考虑到其调查目的。此次调查是要了解民众对习总书记来陕讲话是否有很高的关注度,如果关注度较高,那么问卷问题自然能够很好作答;如果回答不上来,则说明大家对习总书记来陕讲话内容不是很清楚,所以这样做和设计问题也是出于对舆情民意了解的考虑。事实上,问卷问题顺序并没有绝对固定的格式要求,问题顺序的设置除了按照常规要求安排外,更多还要考虑实际情况。由于习总书记来陕讲话的反响比较大,民众对此的关注度也很高,在这样一个前提下,开头设计一个开放式问题虽不合常理,但却在情理之中。从调查的实际情形来讲,虽然有不少人对于开头就问开放式问题有抵触,但是经过调查员耐心的解释,大家最终还是愿意作答,而且作答内容也符合调查要求。从这个角度考虑,问卷问题顺序的设置除了要考虑科学性要求之外,更多还要考虑现实的实际情况,对于民众所熟知的事情,设计高难度问题也未尝不可,更重要的是,这样做更加突出了调查研究的目的。

(三)调查内容的局限性,注定问卷书面语过多

调查内容决定着问卷问题的设置,所以有什么样的内容,自然就会有什么样的问卷用语。陕西(延安)公众获得感问卷旨在调查民众对习总书记五个扎实落实效果的看法,研究内容更多体现的是民众对政府政策的认识和了解程度,要对这些问题作出准确回答,在问卷内容设置上自然不能对政府政策进行过多解读和解释,而应尽最大努力保持原政策内容。所以,问卷设计者就使用了较多的书面语,而不是用通俗语言去表述问卷的问题。从实际调查的效果来看,书面语过多,不利于调查进行,要达到较好的调查效果,需要对问卷用语进行转换,同时更要注意的是如果转换不当,则会造成民众对问题的曲解,陕西(延安)公众获得感问卷主要是考虑到了后者的不利影响,这才没有对问卷用语进行转换,而是直接使用政府的政策内容作为问题答案。因此,调查内容在很大程度上会影响到问卷用语,问卷用语也并不一定越通俗易懂就越好。

(四)调查问题来源于官方,注定问卷问题倾向性不可避免

由于陕西(延安)公众获得感的调查问题来源于政府,政府对习总书记五个扎实的解读内容和落实措施,都是积极正向有助于社会发展的,那么这些内容和政策一旦作为问题答案出现在问卷上,就会在无形中对调查对象产生外在压力,迫使调查对象在回答问题时带有倾向性,即按照政策要求作答问卷。在做调查时,不少调查对象就给调查员反映,这么两极分化的答案,只要调查对象思想不极端,一般较容易选择赋值最高的积极正向的答案。问题的题性要设置在中立位置,不参与提示或主观臆断,提问应创造自由回答的气氛,避免诱导性。受访者在有外界影响的情况下,往往会选择符合问卷偏好的答案,而不是他自己真正的意思表达。”[5] 陕西(延安)公众获得感问卷调查的就是关于政府政策的落实执行情况,要想完全避免倾向性,保持中立,肯定是做不到的。整体来看,虽然问卷问题设计有一定程度的倾向性,但是大家对问题的回答还是比较客观中肯,只有个别问卷有人全部选择极端项,但都以废卷处理,不会影响调查的最终结果。

(五)调查研究问题属于官方政策,注定问题语言无法通俗化

在正常情况下,问卷用语最好能够通俗易懂,除非调查对象的文化教育程度较高,阅读能力不存在问题。然而,一般情况下,调查研究很少仅针对一小部分只受过较高教育的人进行,因为这部分人毕竟只占少数,没有代表性。所以,大部分的调查研究,调查对象都是多元的,而不是单一的,这就对问卷的问题语言表述提出了很高要求。陕西(延安)公众获得感问卷所设计的问题有很大一部分属于政府政策方面的,而政策方面的内容不能随意更改,要尽量保留原来用语,也不能随便进行语言转换,如果轻易进行转换,可能会造成意思表达有出入。再说,本次调查的问题就是关于政府政策的,自然是保留政策原文最好。问卷语言通俗化,有助于调查对象理解,但不一定能取得好的调查效果,因为问卷问题的设置除了要考虑调查对象外,更重要的还要考虑调查目的。

五、解决对策

无论是什么样的调查研究,在设计问卷时都会遇到各种各样的问题,有些问题是客观的,有些问题是主观的,有些问题是可以解决的,有些问题是解决不了的。这就需要综合考虑调查目的、调查对象、调查经费等各种因素,合理取舍,最终设计出一份有助于调查研究顺利进行的问卷。具体来讲,在设计问卷时,应综合考虑以下五个方面因素进行问卷设计。

(一)根据问卷版面需求,灵活设计问卷结构

一份完整的问卷,是需要设计封面信、指导语、问题、答案、编码等内容,但是问卷结构并不是死的,而是可以根据调查需求,进行灵活设置。比如,陕西(延安)公众获得感问卷就省略了封面信和指导语,从形式上看,问卷结构是不完整的,但是这样做并不影响调查的顺利进行,其原因主要有两个:一是调查对象并不一定看封面信和指导语,他可以直接问调查员,而且从现实的调查经验来看,大部分调查对象并不屑于看与调查问题没有直接关系的客套话,而是直接看问题;二是调查员在开始调查时,一定会告诉调查对象他们是谁,要做什么,如果愿意做调查,应该怎么作答,不可能不说话就给调查对象一份问卷,直接让他们作答。另外,还要考虑排版美观和经费的问题,既然会影响到美观,而且还会多浪费经费,那么就可以在不影响问卷质量和调查的情况下,省去没必要的问卷组成部分,陕西(延安)公众获得感问卷的设计就是这样考虑和做的。

(二)根据调查研究目的,合理安排问题顺序

在大部分问卷里,一般情况下都不会将开放式问题置前,而是会放在问卷最后,就是防止调查对象拒绝调查,所以问卷一开始设计的多半是关于个人基本信息的问题,但是陕西(延安)公众获得感问卷却没有按常规套路进行问卷设计,最主要的原因就是考虑到此次调查研究的目的,如果调查对象没有获得感这样一个概念或感受,那么后面的问题就没有开展调查的意义。因此,问卷一开始就设置了一个开放式问题,让调查对象回答,不仅要回答,还要解释原因。这个问题的设置,不仅是一个简单的调查,还可以了解民众对习总书记五个扎实的知晓情况,同时从另一面可以看出普通民众是否关心国家社会发展,因为中国梦的实现,陕西(延安)的发展靠的不是一部分人,而是每一个中国人,尤其是普通民众,更是中国梦的缔造者。另外,将个人基本信息置后,虽然会影响到样本选择,但是却大大降低了拒绝率,因为调查对象如果首先看到的是自己的信息,容易让他们产生疑虑,拒绝调查,如果置后,则可以打消他们的顾虑,等作答到最后,应该已经放松了警惕,拒绝作答的可能性是非常低的。陕西(延安)公众获得感问卷之所以这样设计也主要是出于调查研究目的的需要,因而对问卷问题顺序进行了调整。

(三)根据调查情况需要,规范使用问题语言

对于问卷问题的语言,是使用规范的书面用语,还是使用通俗的简单语言,不能一概而论,而是要考虑实际调查需要。对于官方的政策性调查,则要尽量维持官方语言,因为随意更改政策用语,可能会影响到政策意思的准确表达,而对于其它不涉及政府,或与政府没有直接联系的调查,则最好使用通俗语言。一般情况下,在编写问题及选项时应措词严谨、通俗易懂”[6]。这种要求对于涉及到政府政策方面的调查研究,是难以做到的。要求措辞严谨,自然不能随意更改政策用语和内容,如果不更改,则与通俗易懂可能就产生了矛盾,如何取舍,还要取决于调查目的和实际调查需要。陕西(延安)公众获得感问卷在设计时就考虑到问题语言的随意更改,可能会影响意思的准确表达,在涉及到政府政策的内容时,则直接使用原政策语言作为问卷答案,没有进行任何用语更改和转换。

(四)努力保持客观中立,避免倾向性语言和问题的出现

问卷语言的倾向性,除了有语气上的倾向外,在设计问题时也要注意,如果设计了很多两极分化的问题,无形当中就给人一种倾向性的感觉。陕西(延安)公众获得感问卷在这方面的问题相对较为突出,但这并不是设计者不保持客观中立所致,而是不能随意更改调查问题,因为更改了问题,就不能调查到民众对省委省政府政策措施的真正看法。在调查过程中,就发现有调查对象故意选择赋值最低和赋值最高的选项,因为调查对象一眼看到设计的问题是两组对立的问题,就不考虑自己的真实想法,而是以第一个为选择标准,其它问题跟着第一个选。这是问题设计产生的选择倾向性所致,在调查过程中难以要求,如果调查员对调查对象提出选择要求,一方面会影响到调查者的判断和意愿表达,另一方面则会引起调查对象的反感,甚至会终止调查。因此,在设计问卷问题时,要避免倾向性语言和问题的出现。

(五)学会语言用语转换,使用民间术语

问卷语言用语转换可以在两个环节实现,一是在设计问卷问题时,就使用大多数调查对象能够看得懂的语言用语,二是在调查员向调查对象解释问卷时,将问卷用语表述不明白的地方用通俗语言或民间术语给调查对象解释清楚。问卷语言用语的转换,其实就是实现调查对象与调查员的良好沟通,良好沟通一旦建立起来,那么调查对象不仅不会拒绝调查,还会积极接受调查。另外,对于调查员来讲,如果会讲当地方言,自然更利于调查的顺利进行。陕西(延安)公众获得感问卷虽然存在一些无法更改的问题,但是由于调查员对于问卷比较熟悉,又能与当地人进行很好沟通,尤其是调查员能用当地方言与调查对象交流,基本实现了问卷语言用语的转换,最终圆满顺利完成了调查任务。由此可以看出,进行问卷语言用语转换,使用民间术语沟通交流.

六、结语

问卷设计对于调查研究来讲非常重要,它不仅是收集数据资料的最好方式,同时更体现出研究的科学性和严谨性。对于问卷设计存在的问题,只能努力改进,而不可能彻底解决。陕西(延安)公众获得感问卷应该说是一份非常好的问卷,但即便如此,从问卷设计的基本原则和实际调查方面的需求来讲,依然存在一些问题,这些问题既是问卷设计的共性问题,同时又有其在本次调查研究当中的特性,对于这些问题的分析,并不是要否定陕西(延安)公众获得感问卷,而是要以此为契机,继续努力,争取在以后调查研究设计问卷时,能够更加有效化解这些问题,使问卷结构更加完整,问题更加简明,顺序更加合理,用语更加准确。