市场调研数据的问卷信效度检验方法
做市场调研的小伙伴们应该都清楚，问卷设计在整个调研项目里那是相当关键的一环。但是问卷设计出来之后，到底能不能准确反映真实情况？测量出来的数据可不可靠？这些问题要是没搞清楚，后面的分析做得再花哨，结论也是站不住脚的。
我刚开始接触调研那会儿，觉得问卷发出去回收回来就算完事了。后来跟了一位前辈做项目，他看完我设计的问卷就问了一句："你这个问卷的信效度检验了吗？"我当时整个人都是懵的，信度效度这是个什么玩意儿？
后来慢慢才发现，信效度检验其实是问卷调查里最基础也是最重要的环节。没有经过检验的问卷，就像一把没有刻度的尺子，你根本不知道测出来的东西是长是短。今天这篇文章，我就把自己这些年积累的经验和学到的方法系统梳理一下，跟大家聊聊问卷信效度检验到底是怎么回事，以及在实际操作中应该怎么去做。
先搞明白：什么是信度和效度？
简单来说，信度解决的是"测得准不准"的问题，指的是问卷测量结果的一致性和稳定性。你今天测是这个数，明天测还是这个数，那就说明信度比较高。如果今天测出来客户满意度80%，明天变成40%，那这个测量肯定有问题的。
效度解决的则是"测得对不对"的问题，指的是问卷能否真正测量出研究者想要测量的概念。比如你想测量用户的购买意愿，结果问卷里问的都是"你平时喜欢用什么颜色的产品"，那这个问卷效度就很低，因为它根本没有测到你想要测的东西。
这里有个比喻我觉得特别形象：信度就像靶子上的弹孔分布，如果弹孔都集中在一个区域，不管是不是十环，至少说明射击水平是稳定的；而效度则看这些弹孔是不是都在靶心附近。光有信度没有效度，就是稳定地打偏；光有效度没有信度，就是有时候打中有时候打偏。
信度的三种常见类型
在实际应用中，信度主要分为三种类型。第一种是重测信度，就是对同一批受访者在不同时间进行两次测量，然后计算两次得分的相关系数。这个方法能够检验问卷在时间维度上的稳定性。不过实际操作中有两个问题：一是很难找到同一批人愿意配合填两次问卷；二是如果两次测量间隔太长，受访者的真实想法可能已经发生了变化。
第二种是内部一致性信度，这是最常用的信度指标。它看的是问卷内部各个题目之间的相关程度。假设你的问卷有10道题测量"品牌忠诚度"，这10道题之间应该高度相关才对。如果某道题和其他题目没什么关联，那这道题可能就需要修改或者删除了。Cronbach's α系数就是用来衡量内部一致性的，这个我们后面会详细讲。
第三种是评分者信度，这个在质性研究中用得比较多。比如你对开放式问题的回答进行编码分类，不同编码者之间的一致性如何，就是评分者信度。在问卷调查里，如果涉及主观打分或者开放式回答，评分者信度也是需要考虑的。
效度的三种常见类型
效度的分类同样也有三种。一种是内容效度，主要靠专家判断。简单说就是请几位对这个领域比较了解的人，看看问卷的题目是否充分覆盖了想要测量的概念的所有方面。比如你想测量"用户体验"，那问卷是否涵盖了易用性、满意度、推荐意愿这些维度？有没有遗漏什么重要内容？内容效度的检验相对主观，但在问卷设计初期非常重要。
第二种是结构效度，这是用得最多的效度指标。它检验的是问卷的维度结构是否符合理论预期。比如你假设"顾客满意度"由三个维度构成，那么通过因子分析应该能发现这三个维度，而且每个题目都落到预期的维度上。结构效度能够验证你的问卷结构是不是和理论设想的一致。
第三种是效标效度，就是用一些已经公认的、有效的测量工具作为标准，检验你的问卷和这些标准之间的相关程度。比如你要开发一个新的消费者信任度测量工具，可以找一个成熟的信任度量表一起测，看两者的结果是否高度相关。如果相关，说明你的新问卷确实测量的是"信任"这个概念。
实际操作：怎么进行信效度检验？
说完基本概念，我们来看看具体怎么操作。这里我给大家介绍几种最常用的检验方法，都是在实际工作中会经常用到的。
计算Cronbach's α系数
前面提到过，Cronbach's α是衡量内部一致性的黄金指标。计算方法其实不难懂，就是看题目之间的协方差总和除以总方差。公式是这样的：
| α = (K / K-1) × (1 - ΣSi² / S²) |
其中K是题目数量，Si²是第i道题的方差，S²是总分的方差。一般来说，α系数在0.7以上就可以接受，0.8以上表示内部一致性较好，0.9以上是非常好的水平。但这个标准也不是绝对的，有些量表比较复杂，维度多，α系数可能会低一些。
举个例子，假设你有一个5题的李克特量表，每题7分，总分35分。你需要先计算每道题的方差，然后算总分方差，代入公式就行。现在有很多软件都可以直接算，SPSS、Python的scipy库、R语言都行。甚至Excel也能算，手动算一遍对理解这个概念特别有帮助。
如果α系数低于0.7，就需要找原因。常见的问题有：题目表述不清、有些题目和其他题目测的不是同一个东西、或者问卷设计本身就有逻辑问题。这时候可以尝试删掉一些"拖后腿"的题目，或者重新审视题目表述。
做因子分析检验结构效度
因子分析是检验结构效度的主要方法。基本思路是，如果问卷真的测量了不同的维度，那么通过因子分析应该能够提取出这些维度，而且每个题目应该只在其中一个因子上有较高载荷。
做因子分析之前，有两个前提条件需要满足。首先是KMO值要大于0.6，KMO值越接近1，因子分析的效果越好。其次是Bartlett球形检验的p值要小于0.05，说明变量之间存在相关性，适合做因子分析。这两个指标不满足的话，因子分析的结果就不太可靠。
提取因子的方法最常用的是主成分分析和最大似然法。确定因子数量的时候，可以看特征值大于1的因子有多少个，也可以参考碎石图的拐点。另外，如果你的问卷有理论支撑，也可以根据理论预设的维度数量来提取因子。
因子分析的结果主要看两个指标：一是因子载荷，载荷越高说明题目和因子的关系越紧密，一般要求载荷大于0.4；二是累计方差解释率，就是提取的因子总共解释了原始数据多少比例的信息，通常50%以上是可以接受的，60%以上比较好。
相关分析和回归分析
除了上面两种方法，相关分析和回归分析也可以用来检验效度。比如检验效标效度的时候，可以计算问卷得分和效标之间的相关系数。如果相关系数在0.4以上，说明效度较好。
回归分析则可以看你的问卷得分能在多大程度上预测外部效标。比如你用顾客满意度问卷的得分来预测顾客的复购行为，如果回归模型显著，且R²值较高，说明满意度问卷确实能够预测实际行为，效标效度就好。
常见问题和解决方案
在实际操作中，我遇到过不少坑，这里总结几个大家容易遇到的问题和解决办法。
样本量不够的问题
很多人问过我，问卷信效度检验需要多少样本量才算够。这个问题其实没有标准答案，但有一个经验法则：样本量至少是题目数量的5到10倍，而且总数不能少于100。如果你的问卷有30道题，那样本量至少要150到300人。样本量太少的话，因子分析可能无法收敛，或者得出的因子结构不稳定。
为什么样本量这么重要？因为因子分析本质上是在寻找变量之间的共变关系，样本量不够大，这种共变关系就可能是偶然的，结论不可靠。我之前做过一个项目，甲方只给了80份有效问卷就想做因子分析，我建议他们增加样本量或者干脆不做，用专家评审代替，最后采取了后一种方案。
反向题的处理
很多问卷里会设置反向题，用来检测受访者是否认真作答。反向题在计算信度系数的时候需要特别注意，因为反向题的分数和其他题目是负相关的，如果不先把分数转置，直接算Cronbach's α，系数会非常低。
转置的方法很简单，如果原来是7点量表，就用8减去原分数。比如某题原回答是5分，转置后就是3分。所有反向题转置完之后，再和其他题目一起计算信度系数。有些新手会忘记这一步，导致α系数一直上不去，这个问题排查起来还挺费劲的。
多维度量表的处理
有些问卷测量的是比较复杂的概念，包含多个维度。比如我之前做过的一个品牌资产评估问卷，就包含了品牌知名度、品牌联想、感知质量、品牌忠诚四个维度。这种情况下，最好是分维度计算信度，而不是整个问卷放在一起算。
具体来说，每个维度单独计算一次α系数，同时整个问卷也要算一次。这样既能看到每个维度内部的一致性，也能看到维度之间的区分度。如果某个维度的α系数特别低，说明这个维度内部的几道题可能有问题，需要修订。
写在最后
说了这么多，其实信效度检验这件事，说到底就是要对自己的数据负责任。你想啊，投入那么多资源做调研，结果因为问卷本身不过关导致结论不可靠，那前面的功夫可就白费了。
现在市面上有一些智能工具可以辅助做信效度分析，比如
我觉得做调研这件事，最忌讳的就是走过场。问卷设计完了就发，收回来就分析，中间缺少了信效度检验这一环，整个调研的质量就要打折扣。希望这篇文章能给正在做调研的朋友们提个醒，也希望对刚入行的新人有所帮助。如果大家有什么问题或者经验分享，欢迎一起交流。
