调查问卷的两个陷阱：诱导性问题和幸存者偏差

我们在测试一个产品的时候，会通过用调查问卷的方式看看用户对产品的喜好程度和看法，但你的调查真的有用吗？你的调查有没有踩坑呢？

收集回来几千份问卷，你有没有想过有可能数据是无效的？访谈了几百位用户，你有没有想过你做的可能是无用功？问题在哪？

你不会问问题！

坑1 你喜不喜欢我们的产品？

当你查看这个问题的数据时，你欣喜地发现99%的用户都选择了“是”，于是你屁颠屁颠地去告诉老板“我们家的产品，用户很喜欢”，并且拿出数据给老板看，老板一开心，砸了几十万广告费，结果打了水漂。

误区1 诱导性问题

人，皆有怜悯之心。当你问出这个问题的时候，其实跟你去跟暗恋的人表白说“你喜不喜欢我”一样，你的潜台词是“我喜欢你，我希望你最好也喜欢我”，你实际上在告诉用户，“我希望你喜欢我，赶紧选喜欢”。用户想，既然你这么恳求，那么用户就会“我稍微勉为其难地看在你面子是给你个好评吧”。

结果会怎样？或者我这么问，两个人勉强在一起能幸福吗？

类似的坑

这个服务1块钱，你能接受吗？我们打算新推出一个功能，你会用吗？

如何破？

其实，你会发现，很多类似的问题的选项都是“非此即彼”，第一个很简单的方法就是：不要使用“是不是”、“喜不喜欢”这种只有“二元选项”的问法。

对于询问用户满意度等较为主观的可以使用“五分法”，即如“很不满意”、“比较不满意”、“一般”、“比较满意”、“很满意”五种选项。当然，你可以选择用1-5分作为替代，也可以使用7分，除了10分，不建议使用多于7分的选项，用户有选择困难症的。

对于询问用户对价格的接受度，请使用PSM价格敏感度的模型。PSM模型下，问题是这样问的：

（实例 调研知识音频专栏价格敏感度）

问的是用户对各个价格区间的接受度，通常我们只会设置价格敏感相关的4个选项，“太便宜”、“比较便宜”、“有点贵”、“太贵”。特别说明：上图我是增加了一个中间选项“刚好”，实际上这个选项在统计中没有什么作用，纯粹是站在用户视角考虑用户习惯思维增加的选项。

然后根据各选项的数据可以绘出PSM模型的曲线图：

（实例 调研知识音频专栏价格敏感度）

P1：是用户可接受价格的最低值，“有点贵”和“太便宜”的交点； P3：是用户可接受价格的最高值，“太贵”和“比较便宜”的交点； P2：是最佳价格，用户觉得不会太贵也不会太便宜，“太贵”和“太便宜”的交点。

另外，除了用PSM模型曲线图，也可以用百分百堆栈图，这个比较直观，可以看出最佳的价格区间是哪个。我的判断参考数据是：选择“比较便宜”和“有点贵”的比例超过80%的价格区间，即为最佳区间。（下图还要加上“刚好”的比例）

（实例 调研知识音频专栏价格敏感度）

坑2 你花在我们产品上的时间有多少？

问卷收集完后，你查看了下用户回馈的数据，你发现用户还挺活跃的。但是，一查看后台数据对比，怎么活跃才这么低，不科学呀！

误区2 幸存者偏差

有个故事，美国空军发现能飞回来的战斗机中，机翼的弹孔比机身的多，那么升级设备加强防弹效果的时候，应该着重机翼还是机身？按照数据来看，机翼比机身的弹孔多，应该着重升级机翼。但是，事实是，应该着重机身。因为机身中弹多的都毁在现场飞不回来了，机翼中弹还能安全飞回来。

把问卷投放在自家产品上，愿意给你填问卷的其实大部分已经是活跃用户，沉默用户不使用你的产品更不会给你填问卷。所以说，给你找茬的用户都是真爱。

如何破？

其实方法前面也提到过，就是看后台数据，用户的行为比他说的更真实。如果后台埋点还没埋得到你想的数据，那怎么办？

分为事前和事后，两个应对方法。

事前，根据用户类型进行配比，进行定向随机投放，按比例收集问卷。 事后，根据用户类型的比例进行权重配比。比如：用户A和B分别占比30%和70%，根据收集回来的问卷按照用户类型分类统计数据，最后乘以权重配比，得出最后的数据。

以上是两个具体的例子。

总的来说

在做问卷的时候，需要警惕以下的问题：

用户通常言行不一。用户给你的答案不一定是正确的，用户在实际场景中的选择，可能和他选择的选项大相径庭。可以了解下索尼游戏机黑黄色偏好调研的案例。 用户的是摇摆不定的。当用户面对抽象性问题或他没有面对过的问题时，他会给出倾向问卷设计者预设立场的答案。尽量用事物或场景触发用户的无意识行为，或说出代入场景的真实体验。 能触达用户群体是与全体用户有偏差的。预防样本少、非随机调研的情况出现，不然会出现以偏概全的结果。反例比如：只选择本地区用户、优先联系有留联系方式的用户。

设计问卷中，除了问卷调研的目的，更多地是要思考问卷本身（含问题设计、文案、排版）对用户的影响，尽量还原用户的行为和思考，剔除其他影响，这需要关注问卷中很多的细节。

最后的建议是——多踩坑。

 

作者：湘尘，微信公众号：尘言运营（ID：Operator-Chen）。在全栈运营路上狂奔中的1岁半运营喵，喜欢运营、用研、营销，欢迎交流勾搭~

本文由 @湘尘 原创发布于人人都是产品经理。未经许可，禁止转载

题图来自 Pexels ，基于 CC0 协议