cover_image

从场景到指标:数据指标的设计思路;以及指标的缺陷与非期然后果

刘昶 管理井思录
2022年05月05日 23:00

图片


在这个所谓的大数据时代,不少企业希望甚至热衷于制作数据指标。制作数据指标其实不并是什么新鲜事,只是一种常规的管理手段,但是当它带上大数据的光环,一下子变得闪闪发光,似乎有着什么神奇的魔力,似乎就进行了数字化转型。


考虑到企业中管理者常见的凭借感觉、依赖经验的决策方式,与由此引发的无尽的会议、无数的争吵以及人际关系的破坏、共同决策能力的丧失,制作数据指标并用数据说话、用数据决策是一件好事。


现在的问题是如何让数据指标真正有用。这至少要回答两个问题:一个是指标从哪里来;另一个是指标如何用。指标的设计有三种可行的方法,分别是从岗位/部门到指标、从活动/流程到指标、从问题/场景到指标。无论哪种方法,为了保证指标的正确性,都必须遵循战略-岗位/流程/场景-指标的逻辑链,与战略对齐并联动调整,避免为指标而指标。


除此之外,还有一些相对简单、粗糙的方法,如基于战略目标设计出一些整体的成果指标;再如模仿、借鉴同行标杆企业、明星企业的指标,或从常见的指标库中挑选需要的指标。这些来源的指标,其实用性、系统性科学性难以保障。


指标的用途也有三种:其一是评价/问题,关注结果性指标,公开、透明地评价人的绩效,进而问责、奖惩;其二是监控/纠偏,关注结果性指标,比照标准与预期,发现偏差并纠正偏差;其三是学习/适应,关注过程性指标,旨在寻因、测试、改进,提升学习力和适应力。


下面,讨论图中的三种类型的指标:基于岗位/部门的评价型指标、基于活动/流程的监控型指标、基于问题/场景的学习性指标。


图片


基于岗位/部门的评价型指标


从岗位到指标的方法是先明确岗位/部门的任务与目标,进而建立相应的数据指标。其价值在于可以据此了解目标的完成程度,进而对任务主体的工作作出评价和考核,并给予相应的问责、激励。评价一项任务的进展、一位员工的绩效,总是需要一把客观的标尺,基于岗位的评价型指标是有其作用的。


其问题在于其指标是点状的,这个点上指标的良好表现,很可能是以其相关联的点上另一个指标的槽糕表现为代价的。或者说,孤立的散点指标可能导致岗位之间的不协调。各个部门的指标表现都很好,但是公司整体的表现却很差。


没有人愿意被评价、被评头论足。评价的目的不应该仅仅是问责,更重要的是改进,这需要以信任关系为基础的对话。如果评价工作实现自动化,这一点将变得更加重要。


当员工接受“指标上司”的评价是正向,员工会认为这是客观、公正;但是,如果评价是负向的,则是员工难以接受的,引发与委任其“指标上司”的更高一级领导者之间的矛盾。这时,更需要以信任关系为前提,进行平等的对话。


此类指标,如果过度使用、错误使用,可能导致一系列问题,如:成为指标的奴隶,忘记指标背后的目的;成为指标的囚徒,只关注指标指向的目标,对于那些无法指标化的事不闻不问,由此影阻碍探索、创新、冒险;导致短期主义行为;引发过度竞争,影响信任、阻碍合作;操纵指标,弄虚作假,破坏健康的组织文化……这时设计和使用指标过程中,需要警惕的。


基于活动/流程的监控型指标


从活动/流程到指标的方法是先明确流程,进而建立相应的过程性指标与结果性指标。流程是各项经营管理活动的描述,一般分成L1-L6的层级。由流程建立的指标具有全面性,可以建立全覆盖的监控体系;同时,也具有层级性,不但可以发现问题出在哪,还可以逐层追溯其原因可能在哪。


从活动/流程到指标,是对从岗位/部门到指标的升级。与从岗位/部门到指标的方法不同,从活动/流程到指标的方法,可以建立一棵全面的“指标树”,部分地解决了点状指标的问题,可以看到部分指标之间的关联。实践中,一些企业依此法设计的指标经常是一块一块的,通过清单的方式呈现,还未形成“指标树”。


流程打破了岗位/部门之间的割裂,但是流程之间、尤其是不同类别的流程之间却还是割裂的,难以呈现不同流程之间的指标的关联关系。这时,若要解析一个问题背后的原因时,就可能忽略一些原因,难以系统地思考一个问题并建立完整的解决方案。


构建全面的数据指标,是一种理想状态。要不要这么做,企业需要自身的情况。如流程的稳定性,如果流程不成熟,还处在优化阶段,那么急于构建指标意义不大;再如成本投入,数据的采集、处理和分析需要巨大的投入,最后的结果很可能是得不偿失,我知道的一家企业,耗费大量的人力和物力,构建出全面的指标体系,最后发现大部分指标计算需要的数据是没有的;再如,设计出一个指标,它有没有用是不确定,需要测试优化,指标构建是一件摸索、渐进的过程,贝佐斯的技术顾问、被称为“贝佐斯影子”的柯林·布里亚就曾说,各项指标的发展各有其故事;最后,人的精力是有限的,没有人有时间关注那么多的指标,当然这一方面可以将一些指标埋在系统中,发挥监控和预警的作用,另一方面可以从战略出发,找到影响战略能否成功的关键流程及其关键环节,进而构建关键指标。


基于活动/流程的指标构建,可以帮助企业实现对各项管理活动实时的监控,进而快速地发现偏差,并修正偏差。但是,这样的监控体系的应用,应面向物、面向业务,而不应面向人。


没有人愿意被监控,有公司以各种方式反对集团要求的指标体系构建工作,如没有IT建设的预算,因为从其他兄弟公司的指标构建中嗅到不妙的气味。监控极容易破坏员工与组织、与领导者之间的信任关系。


一些管理者不倾向、不愿意信任员工,通过构建指标监控员工,结果却破坏彼此之间的信任,由此管理者设置更多的指标、采取更严密的监控,这又进一步破坏彼此之间的信任。而事实上,不是人不可信任,而是指标与监控让人变得不可信任。这就是会学家罗伯特·默顿所说的“预言的自我实现”。


在通过指标监控组织时,第一要明确监控的范围,即面向业务,但不面向人;第二,通过指标体系的构建赋能于员工的决策,增强员工的决策能力,提高员工的工作自主性。


基于问题/场景的学习性指标


从难题/场景到指标的方法强调,从场景出发,或者说,从一个既定的关键问题(尤其是难题)出发,找到相互关联的一系列关键要素(或关键活动/流程),进而构建相应的指标。基于场景的指标构建,不为构建指标而构建指标,旨在解决问题。或者说,基于场景的指标构建,是问题解决导向的。


从难题/场景到指标是对从流程到指标的升级。场景中的流程,不是流程分类的方式呈现的,而是流程网络的方式呈现的。基于场景的指标,不是点状的,也不是树状,而是网状的。它呈现的是因果网络,可以更好地用于发现问题及原因,更容易地纳入决策思维中,更可能制定综合性的解决方案。


场景是一个系统,借助相互关联的指标地图,可以更好地感知和学习,不断尝试、验证、改善系统运行的效率和效果。当环境条件多变、需要持续优化、方案不确定时,尤其适合基于场景设计指标。


图片

(来源:《亚马逊逆向工作法》,柯林·布里亚,比尔.卡尔)


柯林·布里亚与其合作者比尔·卡尔在《亚马逊逆向工作法》中说,亚马逊的成功主要得益于“亚马逊飞轮”。“亚马逊飞轮”即可以看做是一个业务增长的场景。基于“亚马逊飞轮”,亚马逊设计了相应的“可控的投入类指标”, 即那些可以直接控制的、可以带来预期结果的活动,例如为了提升“客户体验”,设计了配送速度、选品广度、产品信息丰富度、使用便捷度等指标。


“亚马逊飞轮”,可以呈现各类投入类指标是如何驱动增长这个单一产出类指标的。在亚马逊的业务回顾周会上,会讨论飞轮上的所有指标,亚马逊业务回顾周会上讨论的所有指标几乎都可以归入这个飞轮。通过这些投入类指标,亚马逊有系统地不断学习、持续改进,寻求业务的增长。


亚马逊所做的,正如唐纳德·惠勒所说:“任何系统改进之前……你必须理解系统的投入类指标是如何影响产出类指标的。要得到理想的结果,你就必须改变投入类指标(可能还要改变整个系统)。这需要持久的努力、坚定的目标以及把持续改进作为运营哲学。”


图片


富国银行就不是这样了。富国银行希望与客户建立长期客户关系,但是未将此视作一个系统性的场景,只是制定了一个单一的指标——每日交叉销售额。没有一套相关联的指标,是无法进行持续地学习与改善的。结果销售人员在激励措施、业绩压力之下,未经客户同意就私自开设了350万个存款和信用卡账户。交叉销售与长期客户关系脱节,既破坏了客户关系,还导致严重的经济损失:罚款1.85亿美元,赔偿客户610万美元,诉讼费1.42亿美元。


诚然,数据指标可以帮助人的寻因、学习、决策,但是,数据指标并不能替代直觉、判断力,管理者既需要利用指标提供的信息,也需要综合运用直觉、判断力。即使贝佐斯这位盯着数据指标的管理者也曾说:


“我在商业和生活中做出的最好的决定都是靠心、直觉、勇气做出的,而不是分析。如果你能通过分析做出决定,你当然应该这么做,但事实证明,你最重要的决定总是凭直觉、品味、心灵做出,这就是我们做事情的基础,是初步要建立的心态。”


结语:指标不止要有用,还必须要有意义


数据指标当然是有用的,管理者值得探索设计与构建数据指标体系,但是数据指标也有其缺陷和弊端。历史学家杰瑞·穆勒不但总结了指标的多项缺陷(见附1),还借助从其老师罗伯特·默顿那里学会的观察社会中的“非期然后果”的方法,总结项指标所带来的多项非期然的负面后果(见附2)。他提醒人们,要警惕陷入“指标固恋”的陷阱,他说:


“对指标效力的信念,似乎比显示指标往往不管用的证据更为持久,所以,指标固恋蕴含着一种宗教膜拜的元素。揭示其缺乏有效性的研究,要么遭到忽略,要么会被人阐释为,需要更多的数据和更好的测量。渴望效法科学的指标固恋,未免跟宗教太像了。”


指标是有用的,但是面对指标给人、社会带来的一系列非期然的负面后果,我们需要告诉自己:指标不止于有用,还必须有意义。


图片


写于2022年4月11日


附1:一再出现的缺陷(摘自《指标陷阱》)


制定指标的动力大多出自最善良的意图,声称能解决真正存在的问题。在某些情况下,一如我们所见,它确实履行了承诺,提供了解决方案,或者至少有助于问题的解决。但几十年来,随着指标功能障碍在更多的机制里扩散,我们有了对指标所带来的负面影响的经验,应该能够预见到它的一些缺陷将不断重复出现。以下清单能帮忙识别并记住这些缺陷。当然,我们在此区分它们的目的是进行分析,而在现实世界中,这些缺陷经常互有交叠。


让我们从信息扭曲的问题开始。


测量最容易测量的元素。人类有一种天然的倾向,把焦点放在最容易测量的元素上以试图简化问题。但最容易测量的元素极少是最重要的东西,实际上,它们有时完全不重要。这是指标功能障碍的第一种源头。


与此密切相关的,是在期望的结果复杂时测量简单的东西。大多数工作都有多重职责,大多数组织都有多种目标。只关注测量其中一项责任或目标,往往会带来欺骗性的结果。


测量投入而非结果。通常来说,较之测量努力的结果,测量项目所花的资金或所投入的资源更容易。因此,组织测量自己用掉了什么,而非生产了什么;或是测量流程,而非产品。


通过标准化降低信息质量。量化诱人,因为它对知识做了整理和简化。它提供了定量信息,便于进行人与人、机构与机构之间的比较。但这种简化往往会带来扭曲,因为令事物可接受比较,往往意味着要剥离其背景、历史和意义。这样一来,信息显得比实际情况中更确定、更具权威性:要当心的地方、模棱两可的地方、不确定的地方,都没有了;而用数字形式表达,又最能创造出一副确凿知识的样子。


坎贝尔定律(“任何量化的社会指标,越多地用于社会决策,就越容易带来腐败压力,越容易扭曲和腐蚀它意图监管的社会过程。”)和古德哈特定律(“任何用于控制的指标都不可控。”)都提醒了,利害攸关时人们在指标上做手脚的必然性。在指标上做手脚有很多种形式。


通过“抹奶油”来做手脚。这种情况指的是,从业者靠着寻得更简单的目标,或优先选择挑战性低的客户,从而更便于达到测量目标,同时排除那些难以取得成功的案例。


通过降低标准来改善数字。提高测量分数的一种方法是降低标准以求得分。举例来说,降低合格标准,可以提高高中和大学的毕业率。航空公司通过延长航班的预定飞行时间,可以提高正点率。


通过省略或歪曲数据来改善数字。这一策略是排除引起麻烦的个案,或以让它们从测量范围消失的方式来对案例分类。警方可以将重罪定为轻罪,或是决定不登记报案来“降低”犯罪率。


作弊。作弊比在指标上做手脚更进一步-这种现象的发生频率,往往会随着相关指标涉及的利害提升而增加。如我们所见,随着《不让一个孩子掉队法案》提高了学生考试分数对学校的利害,许多城市的教师和校长的回应是,修改学生的考试答案。


附2:非计划但可预见的负面后果(摘自《指标陷阱》)


19世纪,奥古斯特·孔德(Auguste Comte)阐述了一个有关 社会科学的目标的观念:Savoir pour prévoir,prévoir pourprévenir(知道才能预见,预见才能预防[我们行为的意外后果])。现在,我们对指标固恋有了相当充分的认识,可以预见到它带来的许多非计划的负面后果,兴许也可以避免它们。在转向对测量绩效的正确运用之前,让我们从先前的案例研究中做一番总结,看看指标有哪些一再出现的危害。


精力转移到测量对象上,导致目标遭到取代。目标遭到取代的形式很多。如果绩效只根据少数尺度来判断,涉及的利害很重大(保住工作,获得加薪,在兑现期权的时候抬高股价),人们会把焦点放在满足这些尺度上——并且通常会牺牲另一些更为重要却未经测量的组织目标。经济学家本特·霍姆斯特罗姆和保罗·米格罗姆用更为正式的术语描述了激励错位问题:如果工人因完成可测量的任务获得奖励,就会减少投入到其他任务中的努力。结果是,虽然指标手段本是为了服务于组织目标,但在实践中,前者逐渐取代了后者。


助长短期主义。测量绩效鼓励了罗伯特·默顿所说的“不管不顾的利益即时性·····行为者的最高关注点,只有可预见的即时后果,不考虑稍远的或其他的后果”。简而言之,推进短期目标,牺牲长远考量。


员工的时间成本。在会计分类账目的支出部分,我们必须加上指标的交易成本,即负责编制和处理指标的员工所付出的时间——更不必说,解读指标也要花时间。“报告的紧迫性”加剧了这一问题,也就是说,人们感到必须不断生成信息,哪怕并无重大事情发生。有时,成功的指标成了所生成报告的数量和规模,仿佛只要不进行充分的记录,就什么也没完成似的。最终,组织内部的人花费越来越多的时间来汇编数据,撰写报告,参加旨在整理数据和报告的会议。因此,非正统流派的管理顾问伊芙·莫留和彼得·托尔曼指出,员工在对组织的真正生产力少有贡献的活动上工作得更加努力,也花去了更长的时间,同时热情也为之削弱。


减少效用。有时候,新引入的绩效指标在发现绩效不佳的异常问题上有立竿见影的效果。容易做的事情完成后,人们会倾向于期待持续的大丰收。问题在于,指标还在从所有员工身上采集来。很快,汇总和分析指标的边际成本就超过了边际收益。

规则泛滥。为了不让员工通过动手脚、作弊、转移目标等方式提供错误的指标,组织会制定一连串的规则。遵守这些规则,会进一步放缓机构的运转速度,削弱效率。


奖励运气。如果参与者对结果几乎没有控制力,测量结果就等于奖励运气。这意味着,人们会因为与其努力不相干的结果而受到奖励或惩罚。受到惩罚的人会正当地认为他们遭到了不公平对待。


阻碍冒险。通过绩效指标衡量生产率,还带来了另一些更为微妙的影响:它们不仅助长短期行为,还妨碍了员工的主动性和冒险的意愿。情报分析师为锁定本·拉登的所在位置工作了很多年。在找到本·拉登之前的任何时间点上进行测量,他们的生产率看起来都是零。月复一月,他们的失败率都是100%,直到最后成功的那一刻。从上司的角度来看,让这些分析师长年投入该项目,涉及很高的风险:这笔“时间投资”很可能是竹篮打水。然而,真正伟大的成绩,往往建立在这类风险之上。这是涉及长期人力投资时的典型情况。


阻碍创新。根据绩效指标评判员工的时候,员工会受到激励去做指标所测量的事情,而指标所测量的东西,就成了某种既定的目标。但这阻碍了创新,创新的意思是去做某种尚未确定、确切地说还没人尝试过的事情。创新涉及尝试。尝试新事物会带来风险,它可能会失败,或者说,它必定有着失败的概率。绩效指标倘若阻碍冒险,就会在无意中带来停滞。


阻碍合作和共同目标。按测量绩效奖励个人,会削弱共同的目标感,以及为协作和机构效力提供动机(这一动机无法被测量)的社会关系。按测量绩效进行奖励,往往只会加剧竞争,无法促进合作。如果个人或单位必须对测量绩效创造的激励做出回应,而不是彼此协助、帮忙和提供建议,他们会努力让个人指标最大化,无视伙伴,甚至暗中给伙伴搞破坏。顶尖的医疗改革家唐纳德·贝里 克(Donald Berwick)说:


“一家医院的CEO向我描述了他的利润中心管理系统,在此中层管理者的等级升降取决于当地的预算绩效。我问他,如果对组织整体有帮助的话,他手下的经理会不会把自己部门的资源转移到另一个部门。‘除非他疯了才会。’CEO诚实地回答。”


工作体验退化。强迫组织中的员工把精力集中到得到测量的狭窄工作范围,会让工作体验退化。诺贝尔经济学奖获得者埃德蒙· 菲尔普斯(Edmund Phelps)在《大繁荣》(Mass Flourishing:How Grassroots Innovation Created Jobs,Challenge,and Change)一书中说:资本机制的优点之一是能够提供“心理刺激的体验,解决新问题的挑战,尝试新事物的机会,冒险闯入未知领域的兴奋”。这在资本机制下确属可能。但那些受绩效指标影响的人,被迫将精力集中在他人强加的有限目标上,后者说不定并不理解前者所从事的工作。对受到审查的工人而言,心理刺激会变得麻木,他们既无法判断要去解决什么样的问题,也无法判断怎么去解决问题,此外,由于未知的事物超出了可测量的范围,他们无意冒险涉足未知。简而言之,人性本身蕴含的企业家精神的元素(这不仅仅指拥有一家企业),有可能被指标固恋所扼杀。


这导致的一个结果,就是促使那些有着更大主动性和创业心的人离开绩效问责制文化占主导地位的大型主流组织。教师离开公立学校,进入私立学校和特许学校。工程师们从大公司,转移到“精品公司”(boutique firms)。积极进取的政府雇员变成顾问。这里面当然有着健康的方面。但毫无疑问,由于赶跑了那些最愿意创新、最愿意采取主动的人,我们社会的大型组织变得更差劲了。当工作越是变成一件受测量绩效和奖励绩效的框框束缚的事情,那些能跳出框框思考的人也就越容易对它退避三舍。


生产力的成本。专门测量经济生产力的经济学家报告说,近年来美国经济中全要素生产率的唯一增长,来自信息技术产业。这里有一个不妨一问的问题:指标文化(以其带给员工时间、士气和主动性的代价,它对短期主义的助长)本身在多大程度上加剧了经济停滞?


图片来自网络,如有侵权联系立删!

图片

如果我不写出来,

我如何知道我是怎么想



数字化 · 目录
上一篇数字时代那些“夸张的预言”
继续滑动看下一个
管理井思录
向上滑动看下一个