一直在公司参与企业数字化、大数据、数据分析等方面的工作,阅读及研究过较多的资料,这个文章简单记录下对企业大数据建设的一些思考,及可能的发展,也是作为对各个数据分析平台及大数据的研究的一些总结。
经过二十多年的企业IT建设,很多企业从”无系统“发展到”系统太多“,不光有单独部署的内部系统,也有内容丰富的互联网系统,系统已经覆盖到企业经营的方方面面。企业的数据也从“无数据”发展到“数据丰富”的阶段,企业也从原来依靠手工记录,发展到依赖“信息和数据”来进行精细化运营,IT技术已经深入到企业运作的各个方面,为企业带来了便利,也为企业带来了新的挑战。
在过去企业的IT建设过程中,都是按业务需要来建设系统(也是随着信息技术的发展及认知的深度决定),由于没有规划(也是办不到),逐渐形成了各种烟囱式的系统,虽然解决了很多企业信息化的问题,但也给企业带来了信息孤岛的问题。在过往信息化的建设过程中,也见到各种方法和工具,比如数据仓库(1980年开始提出)、报表工具、BI、商业智能BI、数据分析与挖握,到最近很火的大数据与智能决策,都是为了整合各个数据孤岛,给企业的管理人员/执行人员,提供各种维度的数据报表、数据指标,以支撑企业的运营人员,能可视化地看到数据,然后根据历史数据及当前的数据情况,对企业接下的运营提供决策帮助。
看似方法和工具都能较好地解决问题,但企业的经营者还是面临着一些其他方面挑战:企业在数字化的过程中,由于要整合已有的系统(如ERP、OA、WMS、CRM、SRM等),可能已有系统的数据表会有几百到几千的张,通过BI或者数据仓库的建设后,可能会产生到几百到几千张的报表,如果每张报表上有10个以上的数据指标,那就有几千到几万的业务指标,面对这么多的业务指标,查看及审核信息,将是每个企业运营者头痛的事情。另外一个,面对这么多的业务指标,它们的统计口径是否统一?是否全部都是在使用中?哪些是有价值的指标呢?这些问题正是数据分析与研究必然面对,也是推这个行业不断向前发展的动力。
通过对行业里现有的大数据分析平台及BI工具的调研与分析,再结合企业数据的建设过程,可以发现,数据化的建设过程,都是围绕数据源,数据ETL,数据可视化的方向来进行,数据只有可视化后(图表/excel/PDF/网页等),经营者才能接触到数据,才能拿到数据的价值。但是从发展过程来看,数据可视化配置越来越成为潮流,企业面对诸多的信息与数据,希望能做到所见即所得的效果,传统的报表开发模式已经不能满足当前需求,也与信息技术的发展相悖,而且传统报表的开发成本高,相当于是定制化开发,做不到通用性,面对不同的企业,会有不同的数据指标需求。灵活的可视化配置,支持企业按照自己的需求来配置自己的图表/报表。
在接触到大数据的建设过程,都会看到元数据,数据指标的建设,这些是为了解决业务指标统计口径不统一的问题,因为在传统的信息化系统中都会提供报表,它们都有各自的统计规则,如果照搬到BI或者大数据的数据仓库,那数据化的建设只是在堆积,会慢慢变成混乱的数据仓库,随着不同人员对数据项的需求,数据仓库会日益庞大,通过不同的原始表、宽表、维度表、分析表等加工后产生的结果表都有可能达到几十万到几百万,将需要消耗大量的IT资源。
那怎么去解决这种情况呢?在保持数据源不变的前提下,这里需要引入一个叫“指标平台”的概念,通过对元数据、数据指标的定义与提取的标准化,形成统一的基础指标,再交由一线业务去自由地进行组合,形成业务需要的业务指标,看似是一个技术问题,其实指标平台是一个管理系统,例如不同业务部门的指标归口不统一、指标使用情况、指标是否体现价值等,都属于管理的问题。观察指标平台的建设过程,它是一个收敛的方式,不会呈现爆发式增加,可以很大程度节省IT资源。另外一个指标平台建设的好处是,支撑可视化配置,实现DIY模式的图表/报表,以满足所见即所得的效果 。
回到前面的问题,大数据怎样才能更好地帮助企业的经营者呢?是像传统报表一样,提供丰富的图表/报表来满足呢?还是会有其他方式。我觉得数据在企业中主要发挥“发现异常”、“数据凭证”和“辅助决定”(从数据建设过程中可以看出)。如果不是这个,那可能就是一个普通的报表需求,而不是大数据中数据价值的体现。
“发现异常”:通过对业务指标(数据指标)的跟踪,结合指标预警的设置,发现重要经营业务指标的变动,来看企业的运营是好是坏,让经营者能及时作出调整。从这个角度出发,未来的数据分析平台的建设,未必要像现在行业里很多数据分析平台那样来建设(dataphin / quickBI/GrowingIO等),可能是提供业务指标自由组合的可视化配置,通过订阅及预警提醒机制,让不同职位的经营者来配置及订阅自己关注的业务指标,在业务指标发现变化或者定时的机制来提醒及发送指标的数据,而不是去面对一堆图表/报表,做到因人而异的数据驱动机制,让企业管理人员回归重点,随时掌握重点业务指标的动向。这就好比在使用炒股软件的时候,可以对股票的关键指标进行设置,当股票的指标的波动达到预置的值时,会推送提醒,让投资可以及时看到波动,而不是时时盯着大盘/K线图看。
“数据凭证”:通过业务指标的数据,反映公司/部门/组织/个人的业绩,这里主要是提供数据的真实性验证,通过数据能看到公司/部门/组织的经营情况,并能通过数据的上下钻,了解到每个细项的数据,结合对比,发现好与坏的原因。对于个人也是一样,通过数据去了解个人在公司的效益(创造的价值/成本),如常见的企业营收、财务、业务员、月报季报分析等等。那么这块可以通过报表自助设计器来完成,达到按需及时调整的需要。
“辅助决策”:通过对业务指标的过往数据的分析,结合企业的内部因素与外部因素,来预测企业接下来的经营决策,但这块做起来没那么简单,需要通过不断的训练,及丰富规则来做。
企业数字化与数据的建设过程,是数据赋能企业的过程,是一个不断探索的过程。通过“指标平台”对指标的治理与建设,规范统一的指标定义,派生、衍生出复合指标,再由指标组织成模型。指标的标准化,实现指标的加工、计算、查询的口径统一。
当然,数据化的建设过程,需要结合企业的实际情况,不可能一步到位,这是一个慢慢的转变过程, 需要从管理层来进行带头,去深入试点,尝试后在进行铺开。