数据运营思考(数据治理带给我了什么收获？)

数据治理带给我了什么收获？

　　在未从事企业数据治理之前，自己虽然已经进入了公司管理序列，但骨子里仍然是个技术人员，我对于继续从事报表，取数，bi，数据仓库，数据挖掘等工作颇为自信。偶然的机会开始做企业数据治理，才发现打开了另一片天地，虽然只做了短短一年时间，但数据治理过程中带给我的别样的收获，却是以前的10年都难以获得的，今天就跟大家聊一聊。　　第一，跟顶尖人物学习　　井底之蛙大家都听过，但任何一个人任何时候，其实都处于井底之蛙状态，我们成长的过程，就是不断跳出一口井跳进另一口更大井的过程。以前刚进公司的时候，我从师傅身上学，后来做取数报表了，就从业务人员身上学，再后来做数据仓库，则从项目经理身上学，再再后来做管理了，基本就不学了，因为这个时候，更多的是跟员工沟通，更多的是输出而不是输入。　　企业数据治理跟数据技术工作有一个很大的不同，就是经常要跟领导互动，因为企业数据治理涉及到公司组织、机制、流程的变更，这意味着经常要跟老板汇报，接受指示，然后做事，然后再汇报，如此周而复始，虽然压力有点大，但潜移默化中会受到老板的影响，比如很多事以前自己不敢做，但老板就能给你一些勇气，后来真做了，发现也不是想得那么困难。跟公司牛逼的人交流并获得反馈纠正的机会，机会还是很难得的，　　很多人当了领导一下子感觉气质都变了，格局变大，不能说是突然的爆发，而是周围的环境发生了巨大的变化所致，有句俗话说得好，你周边人员的平均水平，基本就代表了你的水平，环境对于人的驯化还是非常厉害的。这让我想起了进化论，你不愿意跟着改变，就只能不进则退。　　第二、超越技术的束缚　　以前刚接触企业数据治理的时候，总觉得组织、机制和流程诸如此类的工作跟技术搭不上边，挺抗拒这种虚头巴脑的工作，甚至会担心会荒废自己的专业，这是每个技术人员转型管理中都会碰到的挑战，我们往往只有一种武器，总想着用技术改变世界，“手里拿着锤子，看什么都像钉子”。　　我虽然职务上已经是管理人员，但其实还是技术人员的心，对外体现出来的工作方式就是对技术喜欢追根究底，但对管理就没什么想法，跟着公司原有的节奏走吧，不大会提什么意见或建议，但从事了企业数据治理工作后还是发生了很多改变。　　在推动企业级数据治理组织建立过程中，我不得不深入的去研究华为的数据之道，DAMA中关于组织设置的建议，然后结合公司实际给出具体的方案，这让我对于组织的力量有了更深的认识。　　我们以前从某领域采集数据沟通成本偏大，但当企业数据治理组织建立后，领域的态度就发生了变化，因为企业数据治理团队某种程度上代表了公司，这样跨部门协同的效率就顺畅了很多，开句玩笑话，我们前5年为了跨部门数据采集所做的各种努力，还不如组织架构成立几个月后来得多，这何尝不是一种生产力，组织架构决定系统架构，也不是开玩笑。　　企业数据治理团队成立后，我顺势也调整了内部的分组结构，从数据中台中剥离出部分人员成立了新的数据治理组，同时调整合作伙伴等相关资源配置，通过大半年的努力，新的数据治理组已经为数据团队开辟出了一条新的跑道。　　为了确保跨部门协同的成果能固化下来，我们又不得不去考虑拟定相关制度，重新梳理相关流程，然后跟各个利益相关部门去谈判，如此循环，最后再落到系统层面，在这个过程中，我们必须去学习流程的梳理方法，能够拟定流程梳理的模板，然后安排相关方去填充相关内容，再从流程中发现不适合的环节，然后给出精简的建议，比如通过开放流程的优化，我们将开放时间缩减了很多，而这靠技术往往是解决不了的。　　企业数据治理工作让我体会到了组织、机制及流程的价值，现在会主动去研究华为的流程管理，买了端到端流程管理的书来学习，在我的书单中里又增加了一种新的类型。当然组织和流程比技术复杂的多，毕竟前者是对着人，后者只是对着机器。　　第三、理解中庸的艺术　　很多年前突然有点喜欢上了国学，其中有个关键词叫中庸。　　儒家的四书之一《中庸》这么解释中庸，中庸不是什么平庸，更不是搞中间派，而是不偏不倚，极致完美的状态，《登徒子好色赋》说那美人的脸蛋和皮肤“著粉则太白，施朱则太赤”，这才叫中庸。　　老子的《道德经》第四章也提到了类似的观点：“道冲，而用之或不盈。渊兮，似万物之宗。挫其锐、解其纷、和其光、同其尘。湛兮，似或存，吾不知谁之子，象帝之先”　　什么意思呢？　　道是阴阳两者相互中和，其作用无穷无尽，其源深，渊博好像万物的宗主，它锋芒不外露，解除纷忧，在光明之处便与光荣和，在尘垢之处便与尘垢同一。其深远幽暗好像无处不在。我不知它是从何而来，在象帝之前便已存在。　　这章的核心就在“冲”字，“冲”字，两点一个中字，就是指阴阳两者的相互中和，也就是相辅相成，相互作用，相互转化，形成动态的、和谐的、共赢的世界，这其实就是中庸。　　中庸代表了世界运行的一种规律，我们不谈太远的东西，就谈数据技术吧，数据技术的发展也是一个分分合合的过程，最开始数据是分散的，然后数据仓库出来搞集中，然后发现非结构数据来了，然后数据湖再集中，现在发现无论是数据仓库、数据湖都太集中了，丧失了灵活性，然后数据仓库时代搞了个数据集市来中和，数据湖时代开始提出数据编织的思想来搞更灵活的集中，数据网格则要搞领域驱动的数据微服务。　　企业级数据治理要做好，最大挑战也在这中庸两字。　　现在很多企业的数据治理，都是奔着解决数据孤岛问题去的，但大家会发现要强行推行数据集中化，阻力非常大，效果也不一定能达预期。如果企业管控力很强，数据的确集中了，但活力也没了，大多企业则处于集中化的过程中，也都在纠结集中化的尺度。　　我认为合理的数据集中化，一定要回归业务的初心，一定要具体问题具体分析，一定是权衡利弊给出的中庸的结果，这是我在推进企业级数据治理中的最大感受。　　比如企业数据采集要不要集中，很多人肯定说要集中啊，但答案是不一定。每个领域也有自己的子域，子域采集完后给领域归集，企业级数据采集直接从领域采集也许效率更高。　　但这意味着每个子域都要有自己的采集工具，企业如果不允许子域重复建设，搞个核弹ETL团队去采集，可能会发现各种子域源端不适配，各种源端业务不理解，各种跟源端厂家的纠缠，那么到底谁来为子域的采集效率负责？但如果仍然让子域来建，是否就违背了集约化的原则？　　因此，企业数据治理组织必须结合实际情况给出中庸的答案，比如让领域有权利建ETL，但要领域自己收口，同时跟企业ETL数据字典打通，并且企业ETL要开放能力给子域集成，从而在保持灵活性的同时发挥出集约化的价值，华为在数字化转型之道中给出了服务化的解决方案，但服务化的实施难度其实很高，一不小心就搞成了形式主义。　　又比如企业数据开放中效率和安全的矛盾如何解决，肯定不会有绝对的方案，但一定有中庸的方案，怎么个中庸法呢？首先可以给数据分层分级，不同的级别走不同的管理流程，其次有些审批可以去掉，改成事后审计或者事后报备，最后要求安全部门的KPI不仅要背安全指标，还要背数据开放的效率指标，这样大家成了利益共同体。　　我们起步企业数据治理的时候，并没有很好的理解这一点，直接写集中化方案上会，那就会有很多的争议，后来发现别人说得也在理，我们嘴上所说的大道理，比如企业全局利益最大化，其实并没有什么实际的依据。　　随着企业级数据治理工作的深入，我们也开始学习从正反两方面思考问题，每次出数据治理的方案，无论是在启动时、过程中或者上会前，都会提前征集各部门的意见，对反馈的意见进行认真研究和回复。　　我就有几次拉着双方领导对齐意见的经历，其实大多的争议都是信息不对称造成的，这种信息不对称一旦上会就只能靠老板一锤定音，但如果我这个牵线人能够提前做出中庸的方案，让双方在底下就达成一致，我想企业的效率会更高一点。但要做到这点的确是很难的，因为每个局中的人都有自己的难处，或者，他们并不会无缘无故的信任你。　　无论如何，企业数据治理让我有机会（或者强迫我）去更多的理解别人的想法，每次调查研究后都会发现，别人碰到的情况比你想像的要复杂的多，因此一定要有敬畏之心，多向领域学习，不要太理想化，把握好那个中庸的尺度。　　第四、从OLAP到OLTP　　在推进企业数据治理的过程中，我们接到了一个重大的主数据课题，即要实现A数据在各个领域的统一管理，公司要求建设主数据管理系统，在整合归集各领域A数据的基础上，直接对接交易系统提供主数据服务，这是一种比较激进的主数据管理方式。　　我们以前只做OLAP系统，现在要负责OLTP系统建设，而且比OLTP系统更OLTP，因为还要进行跨域的主数据服务支持，复杂性超过了以往任何一个项目，为了达成这个目的，我们开展了很多从0到1的工作，包括：　　1、组建横跨多个部门的项目团队，涉及的各领域的业务，技术，架构人员近几十号人。　　2、给出了主数据的标准规范，包括编码、命名、字段等等。　　3、给出了主数据的整合方法，包括采集、清洗、整合等等。　　4、牵头各部门进行主数据涉及的所有业务流程的梳理，并对主数据录入进行了规范。　　5、结合梳理的业务流程，调研了跟主数据相关的所有系统，给出了服务子系统和分析子系统协同的集中化的主数据管理系统架构，同时针对外围系统改造给出了标准化的接口规范。　　6、给出了服务子系统和外围各系统确保数据一致性的策略，同时给出了服务子系统的连续性、高可用保障的方案。　　这个项目组织复杂，人员复杂，流程复杂，架构复杂，系统复杂，数据复杂，后续运营估计更复杂，但依托于企业级数据治理组织，我们还是能真正的组织起来并进行运作，这些对于我来说是一种难得的经历，更是一笔财富。　　第五，与大家一起共舞　　数据治理起步的时候虽然可以靠着建章立制推着往前走几步，但这种推进方式管理成本太高了，而且速度很慢，因为不可能什么事情都放到台面上去汇报，老板也没那么多时间。　　这个时候信任就很重要，比如关于数据开放审批，如果A部门信任你，觉得交给你靠谱，就可以采取报备的方式，不信任你，就要审批，报批和报备，虽然仅一字之差，但效率差得很远。　　企业数据治理创造了一个与各部门协同的舞台，这是大家形成信任关系的前提，但更重要的是以身作则，比如自己没做好，就没资格去要求别人。　　1、每次汇报前，我们都要征求各部门意见，由于是要上会的，大家一般都会比较重视，如果我们认真的回答了问题，就会潜移默化的影响别人对我们的态度。　　2、每次汇报时，大家都会交换意见，而我们的表现都在潜移默化的影响别人的看法，比如你在会上总是逻辑严密，大家尊重你的意见，那么下次别人跟你交流就会多一分尊重，如果你在会上总是用数据说话，那下次别人跟你交流就会有更多的专业信任，如果你在会上总是主观的判断或猜测，那就是很大的减分项。　　3、每次汇报后，大家都要协商如何推进相关工作，在这个过程中，我们一般会提供各种数据治理的工作指导，比如提供数据盘点的模板，流程梳理的模板，解答工作推进中的各种问题，如果我们干的还不赖，那也会形成更多的信任关系。　　企业数据治理让我认识了更多的同事，也让更多的人认识了我，正如我写文章给读者一样，如果我每次都很认真的写和做，大家也会逐渐增加我的信用积分，当积攒了足够的信用积分后，很多的数据治理工作就能更顺利的开展。　　往大了讲，企业数据治理组织的使命就应该是创造一个良好的数据生态，大家都能从中获取源源不断的支持，而我们却像不存在一样，把自己做没了就是最好的状态。这有点像老子所说的道，道生成了天地，天地抚育了万物，道对大家是不可见的，但却是最长生的。　　第六，团队正在成长　　开始做企业数据治理的时候，团队其实也没什么人有经验，每次领导布置完工作，大家都有点慌，但团队里都是一群想干事的人，因此会想尽办法的去解决问题，我经常正襟危坐的在那里分解工作，虽然有时也会感觉无助，但发现自己如果放下包袱，抱着学习的心态去做事，那么很多所谓的难事都只是自己的历史给自己设置的包袱而已。　　比如第一次办公会开完后要进行企业数据目录的梳理，然后需要我们尽快整理出梳理的模板以便各个部门能开展工作，但这活其实我们自己也没干过，因此大家一起查找资料，一起讨论，经过2天的不停讨论和修改，终于制定出了数据目录梳理的四个模板，后面我们还总结出了“5-5-40”数据目录盘点大法。　　比如做主数据时需要进行业务流程的梳理，我们必须先给出流程梳理的模板，否则各部门梳理的结果会很乱，然后我们就临时抱佛脚的去研究以前一份公司的咨询汇报材料，然后改良了一下，最后各部门基于这份模板梳理出了各个领域的业务流程，还是很清晰的，可以直接作为需求的输入，这次梳理让大家对于流程有了更深入的认识。　　比如由于所有决策都需要上会，这对PPT的撰写提出了较高的要求，特别是参会的人员专业背景还不一样，因此必须要用通俗的语言把一个复杂的事情用PPT的形式表述清楚。以前这类PPT大都是自己主刀，后来发现材料有点多，因此总结了写PPT的套路，锻炼团队一起写，现在大家在逻辑、表达上有了很大进步，汇报成功后就会很开心。　　以前听别人说起数据治理，总会提到老板不重视，没人没资源，成果不显现等问题，的确，这些靠个人是很难改变的，但一旦有机会去做就尽力而为吧，咱先不说什么实现宏大的目标，但在这个做的过程中自身获得的成长，比如有机会去实践下流程梳理，就已经很赚了。