设计师必备体验评估设计指南（组织篇)

原创 58UXD 58UXD

前面两篇文章介绍了58UXD体验评估体系升级的思路：

设计师必备体验评估设计指南（指标篇)

设计师必备体验评估设计指南（机制篇)

本篇将介绍如何有序组织体验评估，并将详细讲解本次QMD升级的要点、难点是如何落地执行的。

我们选用质量管理工具PDCA来组织体验评估，做体验管理。以季度为评估周期，一个季度完成一次PDCA循环后，我们持续迭代评估体系，从而更好的完成下一个周期的体验评估。

策划的主要内容就是大家很熟悉的5W1H了。

1.评估目标-Why

如第一篇文章所述，新的体验评估机制，评估目标从单一的提升体验质量，调整成契合业务目标的体验质量。

参与体验评估，业务设计师的预期有：

1）提升产品使用体验；

2）提升业务核心指标。

QMD项目组需要兼顾参与评估业务的预期，目标有：

1）采用可靠的评估机制，度量契合业务目标的体验，发掘影响业务目标的体验问题，确保评估结果可信、可靠并易感知；

2）确保按照规划周期性做体验评估、同步结论、跟进优化；

3）验证各个参评业务的评估指标、评估机制的可靠性。

2.相关人员-Who

想要按照以上预期高质量的完成体验评估，离不开组织架构的支持。58UXD设立了由交互设计师和用研工程师组成的体验管理组。由体验管理组来组织全部业务的体验考核、体验评估、体验展示、体验跟进等一系列横向体验管理项目。QMD作为体验管理的重要工具，由体验管理组中的QMD项目组来牵头策划完成。有同学对58UXD其他体验管理工具感兴趣的话，可以在评论区留言。

明确了组织方及其职责，根据新的评估机制，还需要每个业务6名评估专家（2名产品、2名交互、2名视觉）。QMD项目组采取了参评业务产品、交互、视觉交叉互评的方式，由第二篇文章介绍的评分者信度保障结果的可靠性。

在新的体验评估机制下，有很多QMD项目组和业务设计师需要沟通协作的节点。为了高效运行评估机制，QMD项目组在各个参评业务都明确了一位QMD对接人。

各个角色的职责明确如下：

3.评估业务-What

新的体验评估机制对参评业务也有了新的要求。出于可行性和投入产出比的考虑，我们根据以下4点，深入了解各个业务的情况，做出研判，最终确定了参评业务。

1）当前阶段业务对于体验的重视程度如何；

2）业务是否有明确的、可持续监控的目标；

3）业务迭代的频率如何；

4）业务是否已达到一定用户规模。

4.时间规划-When

如前所述，新的体验评估机制关键节点多，时间跨度长，需要周密的规划和严谨的时间管理。

QMD项目组是以季度为单位做周期性体验评估的，所以在季度初就会做好整个季度的规划，并严格执行。同时采用周报制来及时处理意外事件，保障项目准时完成。

另外值得提一下评估场次时间的确定，除了视评估专家的时间安排外，也需要考虑线上测评的版本是否符合业务预期，晚几天可能就到了发版时间，是否需要评估最新版，需要综合情况和业务协商。同时也要求QMD项目组在规划之初，就要留好类似这种情况的buffer。

5.评估地点-Where

确定好评估时间，就可以提前约会议室了。

然而我们在2022年的Q2和Q4，遇到了两次因疫情大量同事远程办公的情况。如此我们需要保证线上评估或者部分同学线上评估的结果可靠性。原理如第二篇文章所述，需要保障人员可靠性、认知一致性，标准化实施方案。

6.怎么评估-How

给到专家评估，我们需要至少准备评分工具和主观问题反馈工具。这些都需要以评估指标为基础，我们从第一篇文章了解到指标的制定原理后，各个业务的评估指标具体怎么确定呢？

首先，调整基础指标：我们知道业务的评估指标由基础指标和自定义指标构成的，我们在制定指标前需要根据新的指标体系需要，重新审视原有的基础指标。我们认为一个良好的基础指标，应该是清晰、准确、普适、易懂的；我们邀请专家对这样的指标进行评估，应该是对体验设计有指导意义的。所以对基础指标做了如下调整：评估指标由原来的一级指标改为二级指标，颗粒度更细，聚焦到具体问题；相似指标合并，二级指标由15个合并成10个；增加动效、语义等方面的评估；评估指引描述方式更直白、易理解；等等。

我们把基础指标给到业务，由业务设计师参考以下几个原则制定个性化指标体系。

1）GSM模型（Goal- Signal- Metric）：方法在第一篇文章中；

2）反向思考：场景拆解到什么程度，可以结合业务的实际需要，由希望监控的颗粒度来定，以结果的实用性为准；

3）有迹可循：场景的设计目标，需要是可量化、可监控的，一方面可以追踪优化效果，另一方面可以反向验证指标制定的合理性；

4）因地制宜：评估指标需要足够细化、贴合业务场景。比如基础指标中的“品牌”指标，在基础指标中的描述是“”，是考虑普适性的描述方式。而其在不同业务中的具体元素、形式、原则等体验要素都差别较大，所以需要额外说明当前业务的“品牌”具体需要达到什么体验要求。有些业务会额外提供一份品牌手册，供专家评估参考；

5）稳定性：指标体系内的元素需要在一定时间范围内保持稳定，尽量不因业务的调整而频繁变化。

有了细化的评估指标制定指引，我们向参评业务做了详尽的讲解，并充分探讨其在各个业务的可行性。业务设计师按照要求，结合实际情况，制定了由总目标、影响总目标的场景、场景的评估指标、评估指标的详细说明四个部分构成的指标体系。而后交由QMD项目组审核，确定无误后，由业务设计师根据模版，自行制定体验评估要用到的评分工具和主观问题反馈工具，这里我们用的分别是58问卷和在线协作表格。

1.体验评估

一切准备就绪后，就可以邀请专家来评估了。就像第二篇文章介绍的那样，为了保障评估结果的可靠性，我们对评估工具、专家、环境等都制定了标准化方案。下图是QMD项目组在专家评估前宣讲的评估目标、机制及评估注意事项。

2.信度评估

专家评估后，我们就拿到了评分问卷和主观问题记录表的原始数据。首先最重要的一件事就是预处理评分数据，评估信度，完成校验闭环。我们采用的信度可靠对照关系如下：

如果第一次信度评估可靠程度不高，则需要调整数据组，重新进行信度评估，直至信度可靠。我们并非每一场体验评估都一帆风顺，在疫情期间远程体验评估时，我们就遇到了无论如何调整数据组都不能达到信度可靠的结果的情况。发现了这种情况，我们立即响应，临时邀约更多专家，快速加测了一场。欣慰的是，两场评估结果合并后，经过数据组调整，评分信度可靠。

3.业务复议

通过第二篇文章我们知道，复议阶段的目标一是矫正部分理解有偏差的主观问题，二是让业务尽快了解QMD的结论，感受到其可靠可信，快速迭代优化问题。所以：

1）复议呈现给业务的内容有：评分、分数对比、对应的主观问题、截图等；

2）需要留给业务复议的反馈空间；

3）想要做体验评估的你，需要具备一定的数据分析基础和表格操作技巧。

4.输出报告

报告是为了让体验评估结论更加直观、可信，便于查阅与传播。我们对报告做了一些调整：

1）评分和问题对应展示；

2）评分间差距标记更加清晰明了；

3）增加QMD项目组的优化建议。希望业务重视分数洼地、不及竞品的指标对应的影响较大的主观建议。高优场景/指标/问题判断标准如下，供参考：

a.权重最高或较高；

b.和均值比差10%/8%/5%/3%以上；